O”Reilly Media，lnc. 介 绍 


O”Reilly Media 通 过 图 书 、 杂 志 、 在 线 服 务 、 调 查 研 究 和 会 议 等 方式 传播 创新 知识 。 自 1978 年 开始 ，O” Reilly 一 直 都 是 
前 沿 发 展 的 见证 者 和 推动 者 。 超 级 极 客 们 正在 开创 着 未 来 ， 而 我 们 关注 真正 重要 的 技术 趋势 一 通过 放大 那些 “细微 的 信 
号 ”来 刺激 社会 对 新 科技 的 应 用 。 作 为 技术 社区 中 活跃 的 参与 者 ，O” Reilly 的 发 展 充满 了 对 创新 的 倡导 、 创 造 和 发 扬 光 大 。 


O” Reilly 为 软件 开发 人 员 带 来 革命 性 的 “动物 书 ”; 创建 第 一 个 商业 网 站 (GNN) ; 组 织 了 影响 深远 的 开放 源 代码 峰会 ， 
以 至 于 开源 软件 运动 以 此 命名 ; 创立 了 Make 杂 志 ， 从 而 成 为 DIY 革 命 的 主要 先锋 ; 公司 一 如 既往 地 通过 多 种 形式 缔结 信息 与 人 
的 纽带 。O” Reilly 的 会 议和 峰会 集聚 了 众多 超级 极 客 和 高 瞻 远 瞩 的 商业 领袖 ， 共 同 描绘 出 开创 新 产业 的 革命 性 思想 。 作 为 技术 
人 士 获取 信息 的 选择 ，O” Reilly 现 在 还 将 先锋 专家 的 知识 传递 给 普通 的 计算 机 用 户 。 无 论 是 通过 书籍 出 版 ， 在 线 服务 或 者 面授 
课程 ， 每 一 项 O” Reilly 的 产品 都 反映 了 公司 不 可 动摇 的 理念 言 息 是 激发 创新 的 力量 。 

业界 评论 

“O 〇 ”Reilly Radar 博 客 有 口 当 碑 。” 


Wired 





“DO ”Reilly 赁 人 异 一 系列 〈 真 希望 当初 我 也 想到 了 ) 非凡 想法 建立 了 数 百 万 美元 的 业务 。” 





Business 2.0 


“O 〇 ”Reilly Conference 是 聚集 关键 思想 领袖 的 绝对 典范 。” 
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“一 本 O”Reilly 的 书 就 代表 一 个 有 用 、 有 前 途 、 需 要 学 习 的 主 





Trish Times 


“Tim 是 位 特 立 独 行 的 商人 ， 他 不 光 放 眼 于 最 长 远 、 最 广阔 的 视野 并 且 切 实地 按照 Yogi Berra 的 建议 去 做 了 : “如 果 你 在 路 上 
遇 到 岔路 口 ， 走 小 路 (岔路 ) 。” 回 顾 过 去 Tim 似 乎 每 一 次 都 选择 了 小 路 ， 而且 有 几 次 都 是 一 闪 即 逝 的 机 会 ， 尽 管 大 路 也 不 错 。 





Linux Journal 


像 作者 一 样 ， 本 书 对 人 类 的 未 来 具有 深刻 的 洞察 力 ， 鼓 有 舞 人 心 并 且 态 度 严 谨 ， 是 你 想象 和 创造 新 现实 的 指南 。 对 于 想 要 了 解 


新 方向 和 下 一 步 未 来 的 人 来 说 ， 这 是 一 本 必 读 书籍 。 





Soraya Datrabi， 企 业 家 和 投资 者 ，Trailmix Ventutes 公 司 创始 人 





本 书 全 面 概述 了 增强 人 类 的 已 知 不 同方 式 ， 以 及 这 些 增强 领域 可 用 于 创造 新 的 沟通 和 讲 故事 的 方式 。 本 书 揭 开 了 这 种 新 媒体 
的 无 限 可 能 。 





Jody Medicn， 奇 点 大 学 实验 室 设计 总 监 
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实用 的 增强 现实 指南 。 我 不 仅 学 到 了 很 多 东西 ， 而 且 将 其 应 用 到 了 工作 中 。 





Stefan Sagmeister，Sagmeistet 氏 Walsh 公司 设计 师 兼 联合 创始 人 


翻译 本 书 的 过 程 中 正好 遇 到 父亲 心脏 出 现 问 题 ， 几 经 周折 医生 建议 安装 心脏 起 搏 器 。 父 亲 心 里 很 纠结 ， 一 台电 子 仪器 植 入 体 
内 或 多 或 少 让 人 感 党 有 些 恬 下 。 于 是 利用 本 书 安奈 父亲 说 : “你 只 是 提前 体验 了 未 来 ， 等 翻译 完了 一 定 要 让 你 看 看 更 广阔 的 增强 
人 类 世界 。” 


虽然 只 是 一 句 安 奈 父 亲 的 话 ， 但 本 书 的 确 为 我 们 展现 了 一 个 全 新 的 世界 ， 其 至 定义 了 新 一 代 结 合 智能 技术 的 增强 人 类 ， 这 是 
在 翻译 本 书 之 前 始 料 未 及 的 。 翻 译 过 程 中 不 断 查询 作者 引用 的 企业 和 产品 ， 就 像 展 开 了 一 幅 通 向 未 来 的 画卷 ， 经 历 了 一 次 非常 享 
受 的 想象 力 之 旅 。 在 另 一 位 译 者 晓 雷 的 提议 下 ， 我 们 在 原 书 的 基础 上 添加 了 很 多 图 片 ， 试 图 传递 我 们 在 这 个 过 程 中 得 到 的 启发 和 
提示 。 也 许 本 书 的 再 版 就 会 脱离 纸 面 ， 通 过 各 种 感官 技术 带 给 各 位 读者 身 临 其 境 的 感受 。 


本 书 的 另外 一 个 重要 贡献 如 前 言 所 述 ，VR/AR 技 术 本 身 己 经 日 至 完善 但 如 何 应 用 这 些 技术 却 是 另外 一 个 挑战 。 在 这 个 科 
技 时 代 我 们 经 常会 拿 着 各 种 新 技术 的 “锤子 ”去 找 “ 钉 子 ”， 这 种 傣 法 在 科技 时 代 之 前 带 有 很 强 的 讽刺 意味 ， 经 常会 被 导师 用 来 
教育 那些 知 其 然而 不 知 其 所 以 然 的 学 生 们 。 但 随 着 第 四 次 工业 革命 的 到 来 ， 我 们 看 到 了 类 似 AR 这 样 的 技术 突破 引领 着 人 们 对 问 
题 认 知 本 身 的 改变 。 拿 着 锤子 找 钉子 这 样 的 做 事 方法 被 重新 定义 为 用 新 技术 去 颠覆 各 行 各 业 ， 这 件 事情 正在 我 们 身边 随时 发 生 
着 ， 以 至 于 谈 起 新 技术 每 个 人 都 会 有 自己 的 感慨 。 








对 于 VR/AR 技 术 ， 很 多 人 预测 将 随 着 5G 网 络 时 代 的 到 来 而 爆发 ， 这 也 是 我 们 最 初 选择 翻译 本 书 的 原动力 。 但 怎么 爆发 以 及 
在 什么 地 方 爆发 却 不 可 能 有 人 给 出 准确 的 答案 。 就 这 个 爆发 的 问题 ， 本 书 作者 给 出 了 非常 有 意义 的 见解 ， 书 名 也 从 增强 “ 现 
实 ” 变 成 了 增强 “人 类 ”。 这 意味 着 我 们 的 关注 点 应 该 从 技术 本 身 转 移 到 我 们 人 类 自身 ， 从 自身 的 感受 和 体验 出 发 去 寻找 增强 的 
机 会 点 。 采 用 增强 现实 技术 的 目标 也 应 该 是 为 人 类 提供 更 好 的 生活 和 体验 ， 从 这 一 点 出 发 我 们 会 发 现 一 个 很 不 一 样 的 增强 现实 领 
域 ， 它 超越 了 简单 意义 上 的 视屏 县 加 ， 而 是 能 够 调动 人 类 的 听觉 、 味 觉 、 触 觉 ， 甚 至 于 情感 的 体验 增强 。 


到 这 里 ， 我 们 确实 对 作者 关于 增强 体验 设计 是 一 门 艺术 的 观点 非常 赞同 。 未 来 良好 的 增强 人 类 应 用 很 可 能 出 自 于 艺术 家 的 手 
中 ， 就 像 身 边 的 各 类 艺术 作品 一 样 ， 美 化 着 我 们 的 体验 ， 成 为 我 们 生活 的 一 部 分 。 而 艺术 本 身 就 是 一 种 创作 ， 最 好 的 作品 是 来 源 
于 生活 却 高 于 生活 的 ， 这 也 是 我 们 在 考虑 现实 增强 技术 应 用 时 所 需要 遵循 的 原则 。 从 某 种 意义 上 讲 ， 技 术 人 员 应 该 尝试 着 像 艺术 
家 一 样 去 贴近 生活 ， 让 技术 服务 于 我 们 的 生活 ， 并 创造 更 好 的 生活 。 


最 后 ， 这 也 是 一 本 充满 正 能 量 的 科普 读物 ， 相 信 大 家 读 完 后 会 少 一 点 对 新 技术 的 恐惧 ， 多 一 分 对 未 来 生活 的 向 往 。 技 术 本 身 
没有 正邪 之 分 ， 作 为 创造 者 和 应 用 者 的 我 们 决定 了 技术 的 走向 。 读 完 此 书 ， 我 们 更 加 坚定 技术 会 增强 人 类 的 生活 体验 。 而 翻译 结 
束 时 父亲 也 开始 挪 痊 自己 是 增强 人 类 了 。 


当然 ， 技 术 工作 者 ， 持 续 学 习 者 


2018 年 1 月 14 日 于 成 都 


序 


当 海 伦 告诉 我 她 正在 创作 本 书 时 ， 我 自告奋勇 地 要 (实际 上 是 请 求 她 让 我 ) 写 序 。 那 时 ， 我 还 没有 读 过 手稿 ， 对 她 将 要 说 什 
么 几乎 一 无 所 知 。 然 而 ， 基 于 对 海伦 学 术 声 誉 和 续 密 思考 习惯 的 了 解 ， 我 知道 她 对 增强 现实 这 种 新 兴 技 术 及 其 在 增强 人 类 中 的 应 
用 的 理解 将 会 极 有 见地 ， 甚 至 会 友人 深 省 。 


迄今 为 止 , 已 经 有 大 批 研 究 者 在 创造 这 一 新 媒介 的 探索 途中 付出 了 努力 。 多 年 来 ， 增 强 现实 (AR) 往往 被 看 作 一 个 创新 
点 ， 又 或 是 一 把 可 以 拿 出 去 找 “ 钉 子 ”的 “锤子 ”。 然 而 ， 并 没有 足够 的 呼声 将 它 暴 露 在 普罗 大 众 的 视野 中 ， 而 这 一 点 对 于 在 这 
个 领域 获取 更 多 的 投资 和 关注 至 天 重要 ， 并 将 直接 决定 下 一 阶段 的 市 场 化 和 规模 化 应 用 。 作 为 AR 技术 开发 早期 的 所 谓 开拓 者 之 
一 ， 这 一 “可 耻 ” 的 荣誉 给 了 我 写 这 篇 序 的 资格 。 


就 我 个 人 而 言 ， 这 段 旅程 始 于 52 年 前 ， 在 作为 赖 特 - 帕 特 森 空军 基地 的 美国 空军 官员 的 时 期 ， 我 曾 为 战斗 机 和 其 他 军车 设计 
过 更 好 的 驾驶 舱 。 我 的 工作 主要 是 帮助 飞行 员 合理 分 配 注意 力 ， 因 为 他 们 需要 在 高 度 紧 张 和 危 险 的 环境 中 操作 复杂 的 系统 。 这 个 
问题 促使 我 对 增强 现实 的 方法 进行 了 探索 ， 以 提高 飞行 员 对 现实 世界 的 觉察。 最 初 的 想法 是 以 虚拟 图 像 的 形式 组 织 和 描绘 信息 ， 
并 通过 可 穿戴 头 友 设 备 将 信息 投影 和 午 加 到 现实 世界 中 。 此 后 ， 我 将 这 项 工作 扩展 到 了 虚拟 现实 。 


现在 ，AR 和 VR 技术 终于 成 熟 了 (尽管 伦 了 比 我 想象 中 更 长 的 时 间 ) ， 我 作为 一 个 工具 制造 者 的 角色 即将 谢幕 。 是 时 候 把 火 
炬 交 给 海伦 和 她 的 同事 们 来 做 一 些 有 用 的 事情 了 。 建 立 一 个 新 的 媒介 是 一 回 事 ， 但 在 这 个 媒介 上 传递 信息 是 另 一 回 事 。 最 终 ， 还 
是 信息 更 为 重要 。 


正如 我 预期 的 那样 ， 帕 帕 扬 尼斯 博士 出 色 地 完成 了 这 本 权威 著作 。 本 书 虽 然 简短 ,但 冲击 力 巨 大 。 她 为 我 们 奠定 了 基础 ， 描 
述 了 增强 现实 及 其 各 种 模式 的 含义 ,设计 了 知识 体系 来 帮助 我 们 对 应 用 进行 分 类 ， 并 向 我 们 介绍 了 一 系列 的 内 容 和 应 用 (以 及 它 
们 的 开拓 者 ) 。 她 比 我 们 想象 的 走 得 更 远 。 在 这 一 至 关 重 要 的 时 刻 ， 海 伦 让 我 们 认识 到 : AR 并 不 像 我 们 传统 意义 上 理解 的 那 
样 ， 它 不 仅仅 是 一 个 新 的 媒介 ， 而 是 人 类 自身 的 增强 。 它 并 不 会 像 电视 、 电 影 甚至 是 虚拟 现实 所 带 来 的 体验 那样 ， 把 我 们 从 现实 
世界 中 隔离 出 来 ， 而 是 让 技术 与 现实 世界 融合 成 一 体 ， 从 而 提升 我 们 在 整个 混合 体验 中 的 感受 。 在 这 个 层面 上 ， 她 向 我 们 展示 了 
增强 现实 赋予 人 类 的 能 力 ， 我 们 需要 扩展 自身 的 思维 和 想象 力 ， 重 新 思考 “增强 ”一 词 在 未 来 对 于 人 类 的 意义 。 


增强 现实 这 一 媒介 所 传递 的 信息 往往 会 给 我 们 带 来 许多 新 的 自由 度 ， 如 非 线 性 叙事 体验 ， 又 比如 各 种 不 遵守 现实 世界 中 物理 
法 则 的 新 型 现实 。 正 如 海伦 所 解释 的 ， 我 们 需要 打破 那些 限制 我 们 在 现实 世界 中 进行 理解 和 互动 的 旧 原 则 。 在 她 的 设想 中 ， 当 我 
们 开始 接受 这 些 新 的 经 验 及 其 丰富 内 涵 时 ， 将 会 拥有 更 多 的 发 现 力 、 创 造 力 和 想象 力 ， 在 未 来 的 日 子 中 逐渐 找到 成 为 增强 人 类 的 
意义 。 昌 然 我们 并 不 能 确定 她 的 预言 是 否 会 成 真 ， 但 毫 无 疑问 ， 这 是 为 我 们 揭 开 人 类 增强 史诗 这 一 新 篇 章 的 基础 ， 也 是 必 不 可 少 
的 试金石 。 


我 特别 欣赏 海伦 对 艺术 家 (或 她 称 为 的 “惊喜 创作 者 ”) 这 一 角色 的 洞察 力 和 敏感 度 ， 这 将 会 是 下 一 波 创新 的 火花 。 据 我 所 
知 ， 迄 今 为 止 没有 一 个 组 织 或 社区 曾经 踏足 过 这 片 天 地 。 增 强 现实 不 仅 是 工程 师 和 计算 机 科学 家 的 领域 ， 也 同样 是 作家 和 艺术 家 
的 地 盘 。 体 验 才 是 我 们 能 够 记 住 并 终 将 改变 我 们 的 。 和 希望 技术 (或 者 说 类 似 于 我 的 贡献 ) 能 够 变 得 “不 可 见 ”， 为 人 类 的 创作 腾 
出 更 大 的 空间 。 


我 从 心底 同意 海伦 在 本 书 结束 时 的 总 结 : 我 们 需要 共同 努力 ， 建 设 属于 自己 的 文明 ， 使 用 我 们 这 个 时 代 特 有 的 工具 来 唤起 人 


激发 世界 的 积极 变化 。 最 后 ， 让 我 们 一 起 来 回答 这 个 问题 : 增强 技术 是 否 能 够 让 我 们 的 生活 更 美好 ? 
汤姆 ， 弗 内 斯 ，AR/VR 之 父 ， 庶 拟 世界 协会 的 创始 人 


性 ， 
2017 年 7 月 16 日 于 西雅图 
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我 为 什么 写 这 本 书 

12 年 前 ， 我 第 一 次 目睹 了 增强 现实 作为 一 种 新 的 通信 媒介 的 力量 。 这 是 一 种 纯粹 的 魔力 : 一 个 虚拟 的 三 维 立方 体 出 现在 我 

的 物理 环境 中 ， 我 很 惊讶 。 增 强 现实 展示 出 的 立方 体 在 当时 不 是 互动 的 〈 它 除了 出 现 以 外 没 干 别 的 ) ， 但 是 ， 它 引发 了 我 对 AR 
如 何 发 展 和 演变 的 想象 。 那 一 刻 ， 我 将 自己 接 下 来 的 创造 性 工作 、 研 究 和 演讲 奉献 给 了 那些 因为 AR 成 为 可 能 的 新 体验 。 


我 写 这 本 书 是 因为 我 开始 目睹 一 个 迫切 需要 转变 关注 点 的 AR 领域 ， 从 专注 于 技术 转向 在 AR 中 创造 吸引 人 的 内 容 和 有 意义 的 
想 、 设 计 和 建造 我 们 美好 的 未 来 了 。 


体验 。 本 书 就 是 关于 探索 那些 创意 点 子 和 AR 能 够 提供 的 非凡 新 现实 的 。 现 在 是 时 候 去 梦想 


随 着 AR 领域 的 发 展 ， 我 们 必须 问 : 如 何 设 计 AR 体 验 才能 增强 用 户 的 生活 ， 并 使 其 更 轻松 和 更 美好 呢 ” 麻 省 理工 学 院 媒体 实 
“计算 不 再 仅仅 是 计算 机 了 ， 而 是 关于 生活 的 一 切 。 ”AR 也 不 再 只 是 天 于 技术 ， 而 是 关 


验 室 创始 人 Nicholas Negroponte 说 : 
于 生活 在 现实 世界 中 ， 创 造 以 人 为 本 的 神奇 而 有 意义 的 体验 。 本 书 的 关注 点 是 AR 如 何 丰 富 我 们 的 日 常生 活 ， 并 以 前 所 未 有 的 方 


式 扩展 着 人 类 世界 . 
兴奋 并 希望 为 这 个 


人 人、 


谁 应 该 读 这 本 书 
一 个 全 新 的 媒体 出 现 并 不 常见 。 如 果 你 是 一 个 制造 者 、 一 个 行动 者 ， 或 者 是 一 个 对 开拓 一 条 狐 新 道路 感到 


快速 发 展 的 行业 做 出 贡献 的 探索 者 ， 你 应 该 阅读 这 本 书 。 作 为 一 个 理性 的 消费 者 ， 希 望 了 解 这 方面 的 知识 ， 以 便 寅 视 我 们 生活 、 


工作 和 娱乐 方式 的 新 体验 ， 你 也 应 该 读 一 读 这 本 书 。 
你 可 以 是 一 位 设计 师 、 一 位 开发 者 、 一 名 企业 家 、 一 个 学 生 、 一 位 教育 家 、 一 位 商界 领袖 、 一 名 艺术 家 和 一 个 技术 爱好 者 ， 
对 AR 提出 的 可 能 性 充满 好 奇 和 兴奋 。 你 致力 于 设计 和 支持 新 的 AR 体验 ， 以 深入 人 类 的 价值 观 ， 对 改善 人 性 状况 产生 深远 影响 。 


阅读 本 书 不 需要 有 关 AR 的 先 验 知识 。 为 了 充分 利用 本 书 的 内 容 ， 建 议 读者 亲身 尝试 AR 体验 (理想 情况 下 多 试 几 次 ) ， 包 括 


各 章 中 提 及 的 各 种 案例 。 


如 何 阅读 本 书 


本 书 的 组 织 结构 如 下 : 
第 1 章 重 新 审视 从 1997 年 开始 的 AR 的 经 典 定义 ， 扩 展 了 AR 今天 和 未 来 的 变化 ， 同 时 介绍 了 下 一 波 AR 技 术 ， 这 些 技术 能 够 提 


供 全 新 的 空间 理解 和 感官 认 知 ， 从 而 创造 出 更 具 身 临 其 境 感 、 集 成 性 和 互动 性 的 体验 。 
第 2 章 探讨 了 计算 机 视觉 如 何 为 我 们 提供 新 的 眼睛 和 视角 ， 从 艺术 家 装置 到 机 器 人 和 自动 驾驶 汽车 ， 以 帮助 视力 受 损 的 人 。 


第 3 章 介绍 了 触觉 技术 的 研究 和 创新 (触觉 有 反馈) ， 以 便 将 我 们 所 看 到 的 与 感受 到 的 东西 同步 ， 并 创造 使 用 触感 进行 沟通 的 
新 方法 。 


除了 将 声音 用 于 导航 和 旁白 之 外 ， 第 4 章 还 探讨 了 增强 音频 和 “可 听 式 ”设备 (佩戴 在 耳 沙 中 的 可 穿戴 技术 ) ， 这 些 方法 可 
以 改变 你 倾听 周边 环境 声音 的 方式 ， 甚 至 改变 环境 如 何 “ 听 到 ”你 的 声音 。 


在 第 5 章 中 ， 我 们 将 了 解数 字 嗅 党 和 数字 味觉 这 个 持续 成 长 的 研究 、 原 型 和 产品 设计 领域 ， 它 可 以 增强 我 们 共享 和 接收 信息 
的 方式 ， 增 强 娱 乐 体验 ， 加 深 我 们 对 某 个 地 方 的 理解 ， 并 影响 我 们 的 整体 感受 。 


第 6 章 介绍 了 AR 如 何 通 过 创新 来 创造 引人入胜 的 叙事 体验 ， 在 创作 的 过 程 中 关注 我 们 习惯 出 现 的 主题 和 约定 ， 并 能 够 融入 我 
们 展示 出 的 新 兴 风 格 和 机 制 。 


第 7 章 讨 论 虚 拟 化 身 、 智 能 代理 、 物 品 和 材料 如 何 成 为 活跃 的 情境 变化 因素 : 针对 情境 来 学 习 、 成 长 、 预 测 和 进化 。 

第 8 章 探讨 了 增强 身体 的 方式 ， 从 电子 纺织 品 到 侯 入 身体 的 技术 ， 以 及 大 脑 控 制 接口 的 方式 。 

第 9 章 讨 论 了 迄今 为 止 的 10 个 AR 体验 类 别 ， 目 的 是 通过 一 种 对 人 性 提升 的 感慨 和 承诺 ， 将 AR 发 展 的 可 能 性 延续 到 不 久 的 将 
来 甚至 更 远 。 
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第 1 章 ”新 现实 的 浪潮 


你 即将 进入 一 个 窑 新 的 现实 。 在 这 里 ， 整 个 世界 将 会 为 你 而 变 ， 按 照 你 的 喜好 、 需 要 和 环境 来 展现 。 现 实 变 的 可 塑 、 可 变 和 
高 度 个 性 化 ， 甚 至 完全 由 你 来 定义 和 驱使 。 整 个 世界 并 不 圈 于 语言 的 限制 ,一旦 突破 了 沟通 的 障碍 ， 我 们 可 以 创造 全 新 的 感知 ， 
人 类 的 视觉 、 听 觉 、 触 觉 、 味 党 都 将 拥有 全 新 的 体验 。 依 赖 于 模拟 信号 的 世界 规则 将 不 再 适用 ， 可 穿戴 电脑 、 传 感 器 和 智能 系统 
将 打破 人 类 能 力 的 界限 一 我 们 会 拥有 超 能 力 。 





这 就 是 新 的 增强 现实 ， 你 准备 好 了 吗 ? 


在 这 本 书 里 ， 我 将 为 你 介绍 增强 现实 (Augmented Reality，AR) 技术 ， 包 括 它 是 如 何 发 展 的 ， 它 会 为 我 们 带 来 怎样 的 机 





遇 ， 以 及 它 将 来 的 发 展 趋势 。 我 会 引导 你 来 到 一 个 全 新 的 维度 ， 带 你 身 临 其 境地 感受 这 一 媒介 。 然 而 ， 你 却 不 需要 离开 你 的 物理 
世界 一 一 数字 体验 将 进入 你 的 世界 。 

请 听 我 为 诸 君 分 解 。 

这 本 书 的 主题 不 是 虚拟 现实 (Virtual Reality，VR) ， 让 我 们 先 来 理解 一 下 虚拟 现实 和 增强 现实 的 区 别 。 

在 虚拟 现实 中 ， 通 常 通过 一 套 特 殊 设计 的 头盔 来 将 我 们 的 视线 从 物理 世界 隔离 开 来 ， 完 全 依靠 计算 机 生成 的 环境 取代 了 我 们 
对 真实 世界 的 感知 。 


SnowWorld 是 第 一 个 旨 在 减轻 成 年 人 和 儿童 疼痛 的 沉浸 式 VR 世 界 ， 由 Hunter Hoffman 和 David Patterson 于 1996 年 在 华 


盛 顿 大 学 人 机 接口 技术 (HIT) 实验 室 研 发 。SnowWorld 设 计 的 初衷 是 帮助 提升 烧伤 患者 的 伤口 护理 体验 ， 华 盛 顿 西雅图 大 学 
在 《Virtual Reality Pain Reduction》" "中 解释 了 VR 技 术 是 如 何 依靠 分 散 病人 在 现实 生活 中 的 注意 力 来 缓解 疼痛 的 : 


疼痛 的 感受 需要 占用 注意 力 资 源 。VR 的 本 质 是 让 用 户 产 生 置身 于 计算 机 生成 的 环境 中 的 错觉 。 沉 浸 在 另 一 个 世界 里 占用 了 
大 部 分 的 注意 力 资 源 ， 给 处 理 疼痛 信号 留 下 的 注意 力 资源 就 不 多 了 。 


虚拟 现实 技术 依赖 于 幻觉 ， 能 够 使 人 沉浸 在 另 一 个 时 空 ; 一 般 来 说 ， 虚 拟 现实 会 让 你 从 所 在 的 现实 世界 中 消失 。 而 在 增强 现 
实 中 ， 你 仍然 置身 于 现实 的 物理 世界 中 ， 虚 拟 信号 依靠 透明 的 数字 有 眼镜、 手机、 平板 、 可 穿戴 设备 等 进入 你 的 世界 。 你 仍然 可 以 
看 见 并 体验 现实 世界 中 的 一 切 ， 所 有 的 感官 体验 都 将 继续 ， 只 是 它们 现在 变 得 可 以 通过 数字 化 来 增强 和 改变 了 。 


AR 技术 早期 的 一 个 成 功 案例 叫 作 单词 透镜 (Word Lens) ~， 见 图 1-1。 想 象 一 下 ， 当 你 在 一 个 陌生 的 国家 旅行 时 ， 你 不 
会 讲 当地 语言 ， 如 果 没 有 其 他 人 的 帮助 ， 在 和 餐馆 点 菜 或 者 阅读 道路 指示 牌 这 种 小 事 都 将 会 是 艰难 的 任务 。 现 在 我 们 有 了 单词 透 
镜 ， 当 你 用 智能 手机 指向 菜单 的 时 候 ， 菜 单 上 印刷 的 外 文 文本 便 被 自动 翻译 成 你 所 选择 的 语言 。 毋 庸 置疑 ， 你 将 会 在 这 种 技术 的 
帮助 下 更 顺利 地 融入 当地 环境 ， 拥 有 更 好 的 旅行 体验 。 


虚拟 现实 (VR) 有 它 擅长 的 领域 ,但 增强 现实 (AR) 将 会 使 我 们 能 够 更 深入 地 沉浸 在 真实 的 世界 中 ， 与 现实 世界 无 颖 连接 
一 一 而 现实 世界 才 是 大 部 分 人 每 天 人 花费 大 多 数 时 间 的 地 方 。 与 虚拟 现实 一 样 ， 我 们 必须 意识 到 ， 尽 管 它 的 设计 并 不 会 让 使 用 者 
与 周围 的 环境 隔离 开 来 ， 但 是 增强 现实 也 会 占用 一 部 分 注意 力 资源 。 我 们 必须 认真 思考 如 何 将 人 类 的 体验 置 于 这 种 新 媒介 的 中 
心 。 我 们 不 希望 任何 人 在 这 些 先 进 的 设备 中 迷失 ， 我 们 将 会 以 人 类 的 身份 主导 这 场 进步 ， 技 术 将 隐 于 幕后 。 


Introducing Word Lens pd 


Word Lens has moved tothe Google [ranslate app 





图 1-1: 单词 透镜 的 典型 场景 ， 能 够 将 西班牙 语文 本 实时 翻译 成 英语 〈http: utu.be/h2OfQdYrHRs) 
四 这 门 技术 由 谷歌 公司 在 2014 年 收购 ， 并 集成 进 了 谷歌 翻译 应 用 当中 ， 现 在 它 支 持 37 种 语言 (http://bit.ly/2woMXwD) 。 


最 常用 的 增强 现实 定义 为 真实 世界 之 上 的 数字 化 喜 加 ， 由 计算 机 图 形 、 文 本 、 视 频 和 音频 组 成 ， 并 且 可 以 与 我 们 实时 互动 。 


AR 技术 的 体验 方式 包括 配备 有 相应 软件 和 相机 的 智能 手机 、 和 平板 电脑 、 计 算 机 或 AR 腿 镜 。 我 们 可 以 使 用 AR 技术 识别 夜空 中 的 星 
星 和 行星 ， 或 者 深入 探索 具有 交互 式 AR 指南 的 博物 馆 展览 ， 见 图 1-2。 增 强 现实 技术 为 我 们 提供 了 机 会 ， 使 得 我 们 可 以 以 前 所 未 
有 的 方式 更 好 地 了 解 和 体验 我 们 的 世界 。 


自 1997 年 以 来 ， 我 们 对 AR 技术 的 定义 未 曾 改变 ， 技 术 专 家 Ronald Azuma 在 《A Survey of Augmented Reality》 上 中 简 
明 扼要 地 解释 道 : “AR 技 术 允 许 用 户 查看 苔 加 或 合成 了 虚拟 对 象 的 真实 世界 。 因 此 ， 增 强 现实 补充 现实 ,而 不 是 完全 替代 它 。 





图 1-2: 具有 交互 式 AR 指 南 的 博物 馆 展 览 ， 虚拟 向 导 形象 无 颖 出 现在 你 面前 (http meo.c 5191) 


传统 上 ，AR 技 术 通 过 在 可 用 的 设备 (如 智能 手机 ) 上 使 用 相机 和 软件 跟踪 现实 世界 中 的 目标 。 这 些 目标 可 以 包括 图 标 、 
像 、 物 体 、 声 音 、 位 置 甚至 人 物 等 。 目 标 输入 数据 经 过 软件 处 理 ， 并 与 含有 潜在 对 应 信息 的 数据 库 进行 比较 。 如 果 匹 配 到 对 应 的 
内 容 ， 则 会 触发 增强 现实 体验 ， 将 其 效果 去 加 到 我 们 对 现实 世界 的 感知 之 上 。 


Azuma 对 增强 现实 的 初级 系统 定义 包括 以 下 三 个 特征 人 ^: 
“ 真实 和 虚拟 融合 
.实时 互动 
-三维 注册 


第 三 个 特征 “三 维 注 册 ” 是 指 将 虚拟 对 象 无 颖 地 对 齐 到 现实 世界 中 的 三 维 空间 。 没 有 准确 的 注册 ， 虚 拟 物体 在 物理 世界 中 的 
存在 感 就 会 受到 影响 ， 我 们 将 不 再 相信 那些 赤 加 对 象 的 真实 存在。 通常 情况 下 ， 如 果 一 个 虚拟 台灯 看 起 来 漂浮 在 物理 桌面 上 ， 而 
不 是 准确 地 摆 放 在 桌子 上 ， 我 们 将 会 觉得 办 公 室 在 闹鬼 ， 这 个 技术 难点 将 会 影响 我 们 对 空间 中 存在 一 妾 台灯 的 认 知 。 但 当 我 们 为 
虚拟 对 象 添加 阴影 时 ， 它 就 变 得 更 加 可 信 了 ， 因 为 它 反 映 出 了 物理 环境 更 多 的 特征 。 


增强 现实 的 演进 


考虑 到 AR 的 下 一 波 技术 浪潮 ， 在 当前 的 增强 现实 定义 中 ， 我 认为 还 缺少 一 个 关键 字 : 上 下 文 。 借 助 于 对 你 的 体验 、 你 的 位 
置 、 你 的 兴趣 和 你 的 需求 的 充分 理解 和 定制 化 设计 ， 上 下 文 信息 将 会 使 增强 现实 体验 得 到 提升 。 上 下 文 信息 通常 需要 建立 在 注册 
数据 之 上 ， 这 门 技术 可 以 在 真实 世界 之 上 注册 、 合 成 并 关联 各 种 有 意义 的 数据 ， 为 你 创造 个 性 化 的 用 户 体 验 。 


在 新 的 增强 现实 技术 中 ， 这 种 上 下 文 注册 的 成 功 并 不 是 让 你 看 到 一 蔓 虚 拟 的 台灯 ， 并 感 党 它 完全 位 于 你 现实 世界 中 的 桌子 上 
(就 像 我 们 在 1997 年 定义 的 那样 ) 。 我 们 需要 的 设计 是 让 台灯 能 够 通过 环境 信息 知道 你 何 时 需要 更 多 的 光线 ， 从 而 在 适当 的 时 
候 自 行 出 现 ,或 者 把 自己 关 掉 ， 以 表明 现在 是 应 该 结束 工作 开始 休息 的 时 候 了 。 毫 无 疑问 ， 随 着 技术 的 发 展 ， 作 为 技术 难点 的 注 

册 问 题 将 会 得 到 解决 ， 尽 管 技术 问题 一 直 都 很 重要 ， 但 我 们 将 把 重点 放 在 为 人 类 提供 有 意义 和 引人入胜 的 增强 现实 体验 之 上 。 


随 之 而 来 的 目标 匹配 的 过 程 也 将 变 得 更 加 复杂 ， 因 为 它 不 再 是 一 个 连接 到 静态 数据 库 的 “命中 ”过 程 。 在 传统 AR 技 术 中 ， 
当 我 们 在 教科 书 中 发 现 了 一 张 恐 龙 的 照片 ， 就 会 触发 对 应 的 恐龙 的 三 维 模型 的 显示 。 而 今天 ， 三 维 模型 和 增强 现实 体验 日 渐进 
步 ， 已 经 可 以 主动 去 适应 每 个 学 生 的 课程 计划 甚至 学 习 风 格 等 因素 了 。 我 们 很 高 兴 能 够 看 到 ， 在 下 一 次 学 生 打 开 增 强 现 实 课本 
时 ,恐龙 的 种 类 已 经 自动 根据 其 学 习 进 展 进行 了 调整 ， 并 集成 了 学 生 感 兴趣 的 其 他 话题 。 增 强 现实 技术 现在 成 为 了 一 个 有 生命 的 
数据 库 ， 与 我 们 一 同 呼吸 : 在 交互 中 的 触发 和 对 应 内 容 的 更 新 都 是 动态 的 ， 可 以 随时 改变 。 借 助 于 对 随时 变化 的 上 下 文 和 背景 数 
据 的 实时 处 理 和 适应 ， 新 的 AR 技术 可 以 根据 你 和 你 周围 的 环境 提供 定制 化 的 信息 和 体验 。 


我 们 早 就 应 该 重新 审视 增强 现实 的 定义 以 及 它 的 发 展 方向 ， 尤 其 是 现在 ， 增 强 现实 技术 的 研究 已 经 不 再 局 限于 学 术 机 构 。 以 
前 ， 增 强 现实 需要 高 度 专业 的 设备 ， 这 些 设备 的 体积 和 价格 都 让 大 众望 而 却步 。 但 今天 ， 随 着 智能 手机 中 传感器 数量 的 增加 ， 强 
大 的 增强 现实 设备 已 经 可 以 被 装 在 你 的 口袋 里 。 这 门 技术 的 发 展 将 会 越 来 越 快 ， 可 穿戴 式 计算 机 将 会 悄 无 声息 地 嵌入 你 的 衣服 
里 ， 有 眼镜 上 ， 甚 至 皮肤 下 面 。 


诸如 苹果 、Facebook、 微 软 、 谷 歌 和 英特尔 等 大 公司 正在 密切 关注 增强 现实 的 未 来 ， 它 们 进行 了 大 量 的 投资 ， 让 其 尽快 转 
化 为 大 众 能 够 使 用 的 技术 。Facebook 总 裁 马克 - 扎 克 伯 格 将 增强 现实 称 为 “新 的 通信 平台 。，2014 年 3 月 25 日 ， 他 在 自己 的 
Facebook 页 面 上 写 道 : “有 一 天 ， 我 们 相信 这 种 沉浸 式 的 增强 现实 体验 将 成 为 数 十 亿 人 的 日 常生 活 的 一 部 分 。” 了 


苹果 首席 执行 官 蒂 姆 . 库 克 表 示 增 强 现实 是 “ 像 智 能 手机 一 样 的 巨大 科技 创新 ”DB， 库 克 表示 : “我 认为 增强 现实 有 令 人 难 
以 置信 的 巨大 发 展 潜力 。 通 过 这 项 技术 ， 我 们 可 以 改善 大 量 人 类 的 生活 体验 ， 这 让 我 感到 兴奋 。 并 且 ， 这 件 事 情 本 身 也 非常 有 
趣 。”B]2017 年 ， 在 苹果 全 球 开发 者 大 会 “(WWDC) [ 潮 上 ,苹果 公司 推出 了 ARkit， 一 套用 于 开发 面向 iPhone 和 iPad 的 增强 现 
实 应 用 程序 的 前 沿 平台 ( 见 图 1-3) 。 在 WWDC 主 题 演讲 中 ， 苹 果 软 件 工 程 高 级 副 总 裁 Craig Federighi 将 ARkit 称 为 “世界 上 最 
大 的 AR 平 台 ”。 


苹 
苹 


作为 提升 人 类 体验 的 一 项 技术 ， 增 强 现 实 不 会 独立 演进 。 它 将 成 为 一 种 超级 媒介 ， 与 同时 发 展 的 其 他 新 兴 技术 相 结合 ， 包 括 
可 穿戴 计算 、 传 感 器 、 物 联网 (loT) 、 机 器 学 习 和 人 工 智能 等 。 


AR 的 第 一 次 浪潮 ， 我 称 之 为 “ 晋 加 ”， 主 要 内 容 是 在 现实 之 上 考 加 数字 虚拟 层 。 想 象 一 下 出 现在 棒球 交易 卡 上 的 棒球 运动 
员 的 三 维 模型 ， 或 出 现在 啤酒 杯 垫子 上 的 虚拟 问答 游戏 形象 ， 它 们 都 是 “区 加 ”的 典型 体验 。 这 类 体验 的 主要 特征 是 ， 当 我 们 之 
后 再 次 访问 时 ， 场 景 中 出 现 的 虚拟 形象 和 内 容 几乎 没有 变化 。 这 种 虚拟 形象 通常 基于 完全 相同 的 内 容 ， 重 复 访 问 的 趣味 性 会 大 打 
折扣 。 通 常 在 首次 访问 的 时 候 ， 你 还 需要 下 载 特定 的 形象 和 目标 ， 并 加 载 它 以 触发 增强 现实 体验 。 





图 1-3: ARkit 的 典型 应 用 : 无 缝 在 现实 世界 的 桌面 上 展示 虚拟 玩具 车 


现在 ， 我 们 正在 进入 AR 的 第 二 次 浪潮 ， 我 称 之 为 “代入 ”。 这 一 阶段 将 会 创造 出 更 加 身 临 其 境 的、 与 环境 集成 的 互动 体 
验 。“ 代 入 ”和 “ 赫 加 ”的 关键 区 别 是 用 户 ， 也 就 是 你 一 一 这 同时 也 是 创建 有 意义 的 AR 体验 的 秘 决 。 用 户 是 “代入 ”发 展 的 动 
力 ， 也 是 定义 体验 质量 的 关键 。 


与 二 加 不 同 ， 下 一 波 增 强 现实 的 浪潮 不 仪 仪 是 对 虚拟 目标 的 复制 和 加 载 ， 根 据 对 空间 的 全 新 理解 和 更 深入 的 环境 智能 ， 将 使 
整个 世界 都 成 为 可 追踪 的 目标 。 在 代入 阶段 ， 我 们 突破 了 苹 加 阶段 的 技术 限制 ， 通 过 新 的 传感器 来 增强 交互 体验 ， 从 而 加 强 与 世 
界 和 彼此 的 互动 。 


当前 ， 代 入 的 成 功 案例 包括 配备 有 新 一 代 传 感 器 的 AR 智能 手机 ， 如 联想 Phab 2 Pro 和 华硕 ZenFone AR， 它 们 主要 基于 谷 
歌 的 AR 技术 Tango 开 发 。Tango 结 合 运动 跟踪 技术 和 深度 感知 技术 ， 使 设备 能 够 像 人 类 一 样 来 引导 我 们 探索 物理 世界 。 


当 你 握 住 设 备 并 在 房间 中 四 处 移动 时 ， 深 度 感 应 摄像 机 会 看 到 你 看 到 的 内 容 ， 并 能 够 智能 识别 周围 环境 的 物理 边界 和 布局 。 
它 可 以 识别 墙壁 的 位 置 ， 地 板 的 位 置 ， 甚 至 定位 每 一 种 家 具 。 在 不 久 的 将 来 ， 诸 如 Tango 等 技术 将 使 增强 现实 成 为 日 常 体验 ， 就 
像 为 你 的 孩子 讲述 睡 前 故事 一 样 。 请 想象 一 下 ， 你 的 床 变 成 了 一 辆 虚拟 的 卡车 ， 在 野生 动物 园 中 驰 绽 ， 你 会 看 到 一 只 猴子 从 衣 柱 
顶 上 跳 到 台灯 上 ， 而 狮子 在 梳妆 人 台 顶 部 睡 得 正 香 ， 你 的 物理 环境 被 整合 到 故事 世界 中 ， 可 以 拥有 身 临 其 境 的 体验 。 


四 马克: 扎 克 伯 格 的 Facebook 页 面 : (https://www.facebook.com/zuck/posts/10101319050523971) ，2014 年 3 月 25 日 。 


D] WWDC 2017 主 题 (https://youtu.be/oaqHdULqet0) 。 


感觉 代入 
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微软 Kinect 最 近 在 增强 现实 技术 上 取得 了 相当 可 观 的 进步 ， 实 现 了 在 现实 世界 中 识别 目标 方式 的 重大 转变 。Kinect 有 助 于 你 
更 好 地 体验 增强 现实 ， 因 为 你 的 身体 现在 已 成 为 可 追踪 的 目标 。 在 Kinect 之 前 ，AR 目 标 通 常 是 静态 的 ， 例 如 某 个 具体 形象 的 复 
制 和 展现 等 。 而 Kinect 这 项 技术 借助 于 对 用 户 行为 的 观察 和 识别 ， 打 开 了 互动 体验 新 的 大 门 一 一 它 甚至 能 够 识别 你 的 面部 表情 


和 当下 的 情感 。 (可 以 在 第 2 章 中 看 到 计算 机 视觉 在 AR 中 的 发 展 ， 以 及 它 如 何 给 我 们 一 双 新 的 眼睛 来 体验 这 个 世界 。 ) 


Kinect 发 明 人 Alex Kipman (同时 也 是 微软 AR 耳机 HoloLens 的 发 明 者 ) 在 《How The X-Box Kinect Tracks Your 
Moves》 加 中 提 到 ，Kinect 为 我 们 带 来 了 “一 个 巨大 的 转变 ， 将 整个 计算 机 行业 从 一 个 我 们 必须 了 解 技术 的 旧 世 界 带 入 到 一 个 
新 的 世界 里 。 在 这 个 新 世界 里 ， 技 术 壁 驹 将 不 再 显 式 地 存在 ， 技 术 将 会 了 解 我 们 。” 增 强 现实 技术 不 仅 可 以 探测 到 我 们 和 我 们 周 
围 的 环境 ， 更 开始 识别 我 们 的 活动 ， 并 对 此 进行 回应 。 我 们 与 技术 交互 的 方式 变 得 更 加 自然 ， 因 为 技术 将 隐 于 幕后 ， 而 体验 变 得 
至 关 重 要 。 这 就 是 代入 的 核心 。 


代入 也 将 带 来 一 个 全 新 的 沉浸 层级 : 在 今天 ， 我 们 需要 透 过 全 加 层 的 玻璃 俯 上 县 增强 现实 的 世界 ， 而 在 代入 阶段 ， 这 层 玻璃 将 
被 打 碎 ， 我 们 可 以 在 新 的 维度 里 体验 虚拟 的 所 有 感官 。 人 类 的 感觉 将 会 超越 视 党 ， 在 下 一 波 的 增强 现实 技术 中 发 挥 更 为 突出 的 作 
用 。 例 如 ， 增 强 音频 通常 与 视觉 效果 相辅相成 ， 也 可 以 在 增强 现实 中 独立 出 现 ， 不 需要 显示 甚至 也 不 需要 与 其 他 感觉 进行 集成 。 
除了 视觉 和 声音 之 外 ， 我 们 现在 能 够 触摸 、 闻 到 并 品尝 数字 信号 ， 甚 至 创造 新 的 感官 体验 (这 些 想法 将 会 在 第 3 章 、 第 4 章 和 第 5 


章 中 分 别 进 一 步 探讨 ) 。 


在 代入 阶段 ， 增 强 现实 会 创造 出 物理 和 虚拟 结合 的 新 模式 。AR 技 术 将 物理 世界 与 数字 媒体 融合 在 一 起 ， 虚 拟 感觉 能 够 让 人 
拥有 前 所 未 有 的 体验 。 借 助 于 数字 用 户 交 互 界面 ， 包 括 气 压 场 、 可 变形 屏幕 和 特殊 控制 器 等 ， 触 觉 技 术 能 够 使 人 体验 到 与 现实 生 
活 中 一 样 的 物体 触感 。 例 如 ，AR 技 术 使 得 我 们 可 以 触摸 到 一 只 虚拟 的 宠物 猫 ， 真 的 感觉 到 它 毛皮 光滑 的 触感 和 呼吸 时 候 腹 部 的 
振动 。 

一 些 AR 设 备 可 以 让 我 们 在 增强 现实 中 拥有 味觉 和 嗅觉 ， 如 “电子 味道 感受 机 ”和 “香气 体验 机 ”， 这 两 项 发 明 都 是 伦敦 城 
市 大 学 广义 计算 实验 室 的 教授 Adrian David Cheok 的 功劳 。 香 气体 验 机 是 一 个 可 以 插入 智能 手机 音频 插 孔 的 小 型 设备 ， 可 以 让 
尔 分 享 香 味 的 气味 信息 。 而 电子 味道 感受 机 使 用 金属 传感器 ， 根 据 通 过 电极 的 电流 ， 诱 使 舌头 体验 各 种 口味 ， 从 酸 到 苦 ， 从 咸 到 
甜 ， 在 你 的 大 脑 中 生成 虚拟 的 味觉 体验 。 

Cheok 希 望 我 们 的 五 感 都 能 够 以 物理 世界 中 互动 的 同样 方式 与 电脑 进行 交互 。 他 在 《Share touch，smell and taste via 
the internet》[ 中 中 解释 说 : 


想象 一 下 ， 当 你 使 用 计算 机 、iPhone 或 笔记 本 电脑 的 时 候 ， 一 切 都 在 玻璃 后 面 ， 仿 佛 是 隔 了 一 扇 窗户 。 你 要 么 是 触摸 玻璃 ， 
要 么 透 过 玻璃 来 看 。 但 在 现实 世界 中 ， 我 们 可 以 打开 这 扇 窗户 ， 我 们 能 够 触摸 ， 我 们 能 够 品尝 ， 我 们 能 够 闻 到 虚拟 的 “真实 ”。 





在 增强 现实 的 下 一 波浪 潮 中 ， 我 们 能 够 “ 打 碎 玻璃 ”， 增 强人 类 的 感官 体验 。 


更 进一步 的 是 ， 人 脑 可 以 理解 数字 信号 和 电化 学 信号 ， 以 体察 其 含义 甚至 创造 新 的 感官 体验 ， 虽然 人 类 目前 看 不 到 无 线 电 
波 、X 射 线 和 y 射 线 ， 但 这 些 东西 仍然 客观 存在 。 人 类 看 不 到 (或 者 至 少 暂时 看 不 到 ) 这 些 信息 ， 是 因为 我 们 生来 没有 配备 适当 
的 传感器 ， 而 增强 现实 技术 可 以 提供 这 些 超 能 力 ， 使 得 我 们 不 仅 可 以 看 到 ， 而 且 可 以 使 用 我 们 身体 的 每 一 个 部 分 来 充分 体验 各 种 
各 样 的 信息 和 数据 。 这 种 新 的 技术 使 我 们 可 以 用 前 所 未 有 的 方式 来 参与 和 了 解 我 们 的 世界 。 


跨行 业 的 增强 现实 技术 


我 们 来 看 看 在 哪些 行业 中 下 一 波 增 强 现 实 技术 已 经 开始 产生 影响 。 


1. 增 强健 康 


增强 现实 技术 使 医学 专家 可 以 与 人 体 解剖 学 的 虚拟 三 维 可 缩放 模型 进行 交互 。 医 生 们 现在 可 以 操纵 数字 模型 ， 甚 至 3D 打 印 
出 模型 的 不 同 阶段 来 辅助 手术 。 不 久之 后 的 某 一 天 ， 触 觉 元 件 的 最 新 发 展 将 使 外 科 医 生 可 以 在 虚拟 的 大 脑 上 练习 ， 从 而 为 现实 生 
活 中 的 手术 积累 完全 真实 的 临床 经 验 。 


2. 增 强 学 习 


今天 ， 我 们 已 经 可 以 使 用 AR 技术 来 跟踪 面部 表情 ， 实 时 知道 学 生 是 否 遇 到 了 学 习 上 的 难题 。 在 不 久 的 将 来 ， 教 师 们 将 能 够 
用 这 项 技术 来 制定 教学 计划 ， 为 每 个 学 生 定制 内 容 和 进度 。 例 如 ， 如 果 你 正在 通过 你 的 AR 设备 进行 远程 学 习 或 观看 在 线 课程 ， 
如 果 你 看 起 来 很 困惑 ， 那 么 AR 技术 将 会 向 你 提供 进一步 的 解释 。 或 者 ， 如 果 你 看 起 来 有 些 走神 ，AR 技 术 可 能 会 向 你 提问 以 确保 


学 习 进 度 。 
3. 增 强 零售 


目前 ，AR 技 术 已 经 可 以 让 你 看 见 某 些 产品 (比如 家 具 ) 出 现在 你 家 里 的 时 候 是 什么 样子 的 ; 增强 现实 试 衣 间 还 可 以 让 你 看 
见 手 表 和 服装 这 类 服饰 在 自己 身上 的 穿着 效果 。 人 们 正在 努力 推进 这 一 领域 的 发 展 ， 以 让 线 上 消费 者 不 仅 可 以 看 到 产品 和 服装 的 
外 观 ， 还 可 以 触摸 和 感受 它们 ， 就 像 在 商店 里 那样 。 


4. 增 强 工作 


AR 技术 已 经 开始 提供 修理 指导 ， 能 够 分 享 你 当前 看 到 的 东西 并 提供 实时 的 注释 和 建议 。 这 一 全 新 的 、 人 允许 实时 远程 协作 的 
工作 模式 正在 迅速 发 展 ， 并 将 改变 我 们 远 距离 工作 的 方式 。 例 如 ， 日 本 的 建筑 师 可 以 通过 AR 技术 在 加 拿 大 的 现场 与 建筑 商 进行 
交互 ， 并 充分 参与 工地 上 的 设计 工作 。 


5. 增 强 娱 乐 


有 一 天 ， 你 可 能 不 再 需要 电视 : 你 的 AR 头 戴 视图 器 将 成 为 你 的 娱乐 中 心 ， 向 你 提供 丰富 的 个 性 化 内 容 。 不 管 是 让 你 最 喜欢 
的 表演 者 出 现在 家 中 为 你 唱歌 ， 还 是 让 你 身 处 一 个 开放 场地 来 尝试 走出 一 个 虚拟 迷宫 ， 这 些 全 新 的 数字 内 容 将 被 量 身 定制 ， 结 合 
你 身边 的 物理 环境 ， 为 你 提供 更 好 的 娱乐 体验 。 


今天 的 增强 现实 : 以 人 为 本 


12 年 前 ， 当 我 开始 AR 方面 的 工作 时 ， 整 个 领域 的 主要 焦点 是 技术 ; 内 容 的 设计 很 晚 才 出 现 ， 在 一 段 时 间 内 甚至 没有 人 关 
心 ， 通 常人 们 在 技术 出 现 后 才 会 考虑 内 容 。 在 那个 大 多 数 研 究 人 员 和 开发 人 员 都 关注 于 AR 技术 中 的 注册 和 跟踪 问题 的 年 代 ， 我 
有 笠 成 为 加 拿 大 多 伦 多 约克 大 学 一 个 特别 棒 的 实验 室 中 的 一 员 ， 在 Caitlin Fisher 博 士 的 领导 下 ， 我 们 尝试 定义 未 来 世界 中 AR 的 
内 容 和 故事 体验 。 我 们 的 实验 室 当时 与 其 他 研究 机 构 非常 不 同 : 我 们 隶属 于 美术 系 和 电影 系 ， 而 大 多 数 AR 研究 实验 室 都 在 计算 
机 科学 系 。 其 他 实验 室 的 研究 焦点 通常 集中 在 AR 技术 的 一 个 特定 领域 ， 专 门 发 明和 改进 这 些 技术 ， 而 我 们 实验 室 的 工作 重点 是 
创造 内 容 和 体验 。 


我 们 并 不 是 软件 或 者 硬件 方面 的 专家 。 增 强 现 实 技术 激发 了 我 们 的 设计 灵感 ， 与 此 同时 ， 我 们 并 不 局 限于 技术 上 的 限制 。 已 
经 有 足够 多 的 实验 室 正 在 解决 不 同 的 技术 问题 ， 而 现在 ， 更 需要 探索 的 领域 是 在 技术 多 许 的 前 提 下 进行 全 新 的 内 容 创作 和 不 同类 
型 的 体验 设计 。 我 们 尝试 了 多 种 新 兴 技 术 ， 将 它们 以 新 的 方式 结合 起 来 ， 以 超越 传统 增强 现实 用 途 的 局 限 。 如 果 技 术 尚未 存在 ， 
我 们 就 和 工程 师 和 科学 家 一 起 合作 来 实现 它 。 


2009 年 ， 我 们 的 实验 室 开 发 了 SnapDragonAR， 如 图 1-4 所 示 ， 它 是 首 款 商业 化 的 AR 拖 放 式 软件 工具 之 一 ， 可 以 让 非 程序 
员 们 更 容易 为 这 一 新 媒介 做 出 贡献 ， 使 增强 现实 技术 可 以 惠及 教育 工人 作者、 艺术家、 电影 制作 人 员 和 更 一 般 的 受众 群体 。 同 时 ， 
这 为 各 个 领域 的 制造 商 创 造 了 内 容 制作 的 平台 。 我 们 扩大 了 AR 技术 的 世界 ， 使 其 不 再 局 限于 计算 机 科学 专业 领域 ， 让 创新 者 们 
可 以 继续 在 这 条 道路 上 前 进 。 





图 1-4: SnapDragonAR 的 虚拟 拖 搜 方式 (http://www.futurestories.ca/snapdragonat/) 


AR 不 再 仅仅 是 一 项 技术 ， 而 是 对 我 们 现实 世界 中 生活 方式 的 重新 定义 ; 它 让 我 们 思考 如 何 更 有 意义 地 设计 内 容 和 交互 体 
验 ， 从 而 推动 人 类 的 下 一 步 发 展 。AR 的 技术 、 意 识 和 形态 在 过 去 十 年 中 发 生 了 巨大 变化 。 现 在 我 们 拥有 的 这 一 切 已 经 如 此 令 人 
难以 置信 ， 将 来 又 会 是 怎样 ”在 定义 AR 的 发 展 路 径 时 ， 我 们 将 一 起 来 回答 这 个 问题 。 我 们 需要 跨 企 业 、 跨 设计 和 跨 文 化 的 领导 
者 来 引导 这 一 快速 发 展 的 行业 ， 使 梦想 成 为 现实 。 增 强 现实 技术 将 彻底 改变 我 们 的 生活 、 工 作 和 娱乐 方式 。 
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第 2 草 ”看 世界 的 新 视角 


我 们 已 经 开始 大 规模 地 改变 自己 看 待 和 体验 现实 世界 的 方式 。 计 算 机 视觉 、 机 器 学 习 、 新 型 相机 、 传 感 器 和 可 穿戴 设备 正在 
以 不 同 寻 常 的 方式 延伸 人 类 的 感知 。 增 强 现实 (AR) 给 了 我 们 新 的 眼睛 。 


作为 新 的 通信 媒介 的 进化 ，AR 的 出 现 可 以 追溯 到 早期 电影 史 。1929 年 ， 先 驱 电影 制作 人 Dziga Vertov 摆 文 阐述 了 相机 的 力 
量 ， 描 绘 了 一 个 新 的 现实 : “我 是 一 只 机 械 眼 。 我 ， 作 为 一 台 机 器 ， 为 你 展示 我 眼中 的 世界 。 ”Vertov 的 知名 作品 《 持 摄影 机 
的 人 》 使 用 了 创新 的 摄像 角度 和 技术 ， 以 超越 人 类 视觉 的 局 限 性 。 


Vertov 尝 试 了 新 的 拍摄 视角 (例如 在 摩托 车 这 类 移动 交通 工具 上 进行 拍摄 ， 在 火车 飞快 掠 过 时 将 照相 机 放 在 火车 下 面 的 轨 
道上 ， 见 图 2-1) 。 他 还 通过 又 加 图 像 、 快 进 和 慢 放 镜头 等 技巧 来 探索 新 的 时 空 体验 。Vertov 使 用 机 械 相机 的 新 兴 技 术 来 扩展 人 
眼 的 能 力 ， 并 创造 出 拍摄 世界 的 新 方式 。 他 写 道 : “我 在 探索 一 条 不 同 寻 常 的 道路 ,创造 看 世界 的 新 视角 。 借 助 于 这 种 新 的 方 
式 ， 我 将 解读 出 一 个 你 们 闻所未闻 的 世界 。” 


近 一 个 世纪 以 后 ，Vertov 的 研究 指向 了 增强 现实 这 项 技术 ， 并 确实 带 来 了 靳 新 的 视角 ， 刷 新 了 我 们 对 世界 的 理解 。 相 机 在 
传统 的 AR 技术 中 起 着 关键 的 作用 : 相机 与 计算 机 视觉 结合 在 一 起 ， 扫 描 和 解码 我 们 的 物理 环境 。 但 过 去 的 AR 严重 依赖 于 基准 标 
记 (黑白 的 几何 图 案 ) 或 图 像 来 增强 二 维 表面 (譬如 印刷 品 ) 的 表现 。 
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图 2-1: 拍摄 者 冒 着 生命 危险 寻找 最 适当 的 画面 


(https://upload.wikimedia.org/wikipedia/commons/c/c7/Mikhail_kaufman_on_train.jpg) 


然而 ， 现 实 世 界 并 不 是 二 维 的 ， 我 们 对 现实 的 体验 多 数 基 于 三 维 空间 。 与 二 维基 准 标 记 或 图 像 不 同 ，AR 技 术 正 在 使 用 三 维 
三 维 深度 感应 摄像 机 (例如 微软 Kinect 相 机 和 Intel RealSense 相 机 的 发 


深度 感应 摄像 机 来 识别 、 映 射 和 理解 我 们 的 空间 环境 。 
它们 将 革新 计算 机 感知 、 投 射 和 增强 三 维 环境 的 方式 。 


明 ) 正在 取代 传统 上 使 用 基准 标记 和 图 像 的 测量 方法 ， 
Vertov 的 工作 同时 探索 了 另 一 种 可 能 性 : 相机 (或 者 说 机 械 视觉 ) 将 如 何 超越 人 类 视 党 极限 。 他 提出 了 新 的 观点 : 如 果 人 
类 可 以 用 和 相机 一 样 的 方式 感知 世界 ， 将 会 如 何 ? 同时 ， 像 Kinect 和 RealSense 这 样 的 深度 感应 摄像 机 的 发 明 ， 也 促使 我 们 从 另 


一 个 方向 思考 这 个 问题 : 如 果 相 机 和 计算 机 可 以 像 人 类 一 样 感知 世界 ， 又 将 会 如 何 ”AR 技 术 开始 模仿 人 类 的 感知 设计 ， 使 我 们 


能 够 以 全 新 的 方式 去 看 、 去 听 、 去 体会 。 


由 你 控制 


2010 年 推出 的 Kinect 改 变 了 我 们 体验 增强 现实 的 方式 。Kinect 的 口号 是 “由 你 控制 ”。 通 过 简单 地 移动 你 的 身体 ， 就 像 平 


时 所 做 的 那样 ， 你 便 可 以 触发 并 控制 自己 的 增强 现实 体验 。 
比如 在 衣服 上 打印 一 个 图 像 ， 或 者 搞 一 





在 Kinect 之 前 ， 为 了 使 自己 体验 到 AR 技术 ， 你 需要 在 身上 放置 二 维 的 基准 标记 


个 AR 纹身 。 但 是 ， 现 在 有 了 Kinect， 增 强 现实 体验 变 得 更 自由 了 。 我们 和 虚拟 形象 之 间 的 障碍 不 复 存 在 。 站 在 由 Kinect 驱 动 的 
屏幕 前 ， 你 可 以 看 到 增强 处 理 之 后 的 自己 ， 并 与 其 进行 交 豆 ， 就 像 站 在 数字 魔 镜 前 面 一 样 ， 如 图 2-2 所 示 。 增 强 现实 技术 将 会 一 
一 响应 你 的 动作 和 手势 ， 创 造 独特 的 交互 体验 。 
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图 2-2: 利用 Kinect 自 制 钢铁 侠 套 装 (https://youtu.be/bx5McnEht7Q) 


作为 新 型 互动 体验 创造 的 先锋 ， 艺 术 家 们 立即 接受 了 Kinect 这 个 创意 工具 。2012 年 Chris Milk 所 创作 的 “The Treachery of 
Sanctuary (http://milk.co/treachery) ”是 Kinect 在 艺术 创作 中 使 用 的 一 个 成 功 案 例 ， 如 图 2-3 所 示 。 站 在 一 组 三 个 互动 面板 
的 前 面 ， 你 可 以 体验 出 生 、 死 亡 和 再 生 的 整个 过 程 。 在 每 个 面板 中 ， 你 的 身体 都 会 出 现 不 同 的 变化 ， 它 们 产生 的 暗色 阴影 将 会 
射 回 你 身上 。 在 第 一 个 面板 中 ， 你 看 到 自己 的 身体 慢 慢 展开 ,分 解 成 一 群 小 鸟 ， 飞 入 空中 。 在 第 二 个 面板 中 ， 这 些小 鸟 俯 冲 向 
你 ， 展 开 攻 击 。 在 第 三 个 也 是 最 后 一 个 面板 中 ， 有 巨大 的 翅膀 从 你 的 肩 腥 处 展开 ， 你 只 需要 挥动 你 的 手臂 ， 便 可 以 感到 自己 慢 慢 
飞 起 来 ， 离 开 地 面 ， 冲 向 天 空 。 








图 2-3: 体验 “The Treachery of Sanctuary (htt ni reachery) ” 


Mikk 在 自述 . ,中 写 道 : 





对 我 来 说 ， 作 品 和 观众 之 间 的 双向 交流 才 是 真正 有 趣 的 事情 。 可 以 将 观众 看 作 设计 理 念 的 重要 部 分 ， 而 技术 允许 观众 与 作品 
进行 交互 。 因 此 ， 我 们 强调 体验 的 重要 性 ， 创 新 设计 需要 不 断 地 超越 过 去 的 规则 ， 以 达到 灵 肉 合 一 。 


Kinect 的 魔法 还 有 一 个 重要 因素 : 技术 隐形 。 科 技 的 迅速 发 展 使 得 技术 渗透 在 了 细节 里 : 只 要 站 在 它 的 前 面 作出 动作 ， 便 会 
得 到 相应 的 体验 ; 身体 和 动作 就 是 一 切 反 应 的 触发 器 。 科 技 给 我 们 创造 了 新 的 体验 ， 但 用 户 才 是 最 终 内 容 的 创造 者 。 如 同 字面 上 
的 含义 那样 ， 技 术 隐 于 幕后 ， 而 你 成 为 焦点 。 


Kinect 使 用 深度 感应 摄像 机 来 感知 三 维 世界 。 它 将 红外 光 点 按照 一 定 的 模式 在 空间 中 进行 投射 ， 然后 测量 每 个 点 光源 发 射 的 
光 反 射 回 相机 的 传感器 芯片 所 用 的 时 间 。 这 些 数据 经 过 软件 处 理 ， 用 于 识别 视野 中 可 能 出 现 的 人 类 特征 ， 壁 如 头 部 和 四 胶 。 
Kinect 使 用 骨骼 模型 将 人 体 分 解 为 多 个 部 分 和 关节 。 这 套 软件 内 嵌 了 超过 200 个 姿势 ， 可 以 理解 人 体 如 何 移动 ， 并 能 够 预测 身体 


下 一 步 可 能 的 动作 。 


我 们 广泛 地 在 日 常 活动 中 与 周围 环境 进行 互动 ， 而 预测 是 人 类 感知 的 最 重要 的 特征 之 一 。Palm 计 算 (为 我 们 提供 第 一 台 手 
持 计算 机 的 公司 ) 的 创始 人 Jeff Hawkins 一 一 《On Intelligence》 的 作者 ， 将 人 脑 描述 为 一 套 记忆 系统 ， 其 功能 为 存储 和 提取 
历史 事件 ， 以 帮助 我 们 预测 接 下 来 会 发 生 什么 。 


Hawkins 指 出 : 人 类 大 脑 不 断 对 我 们 环境 中 将 要 发 生 的 事情 进行 预测 。 我 们 通过 记忆 存储 和 提取 的 一 系列 模式 来 体验 世界 ， 
用 它们 来 与 现实 环境 相 匹 配 ， 以 预测 接 下 来 会 发 生 什么 。 


康 奈 尔 大 学 个 人 机 器 人 实验 室 的 研究 人 员 使 用 Kinect 成 功 制作 了 机 器 人 来 预测 人 类 的 行为 意图 ， 这 个 机 器 人 可 以 协助 我 们 完 
成 倒 饮料 或 是 打开 冰箱 门 之 类 的 任务 ， 见 图 2-4。 机 器 人 观察 你 的 身体 动作 ， 以 检测 目前 发 生 的 行为 。 它 可 以 访问 包含 约 120 个 
居家 行为 的 视频 数据 库 (从 刷牙 ， 到 吃饭 ， 到 把 食物 放 入 微波 炉 等 ) 来 预测 下 一 步 将 要 执行 的 动作 ， 然 后 提前 计划 以 协助 你 完成 
任务 。 





图 2-4: 在 双手 被 占用 的 时 候 ， 能 够 帮 有 我们 拉 开 冰箱 门 的 机 器 人 (http://pt.cs.cornell.edu/anticipation/index.php) 


使 用 3LAM 技 术 构 建 3D 地 图 


为 了 让 机 器 人 在 环境 中 顺利 移动 和 执行 对 应 的 动作 ， 它 需要 对 周围 的 环境 创建 地 图 ， 还 需要 知道 自己 在 地 图 中 的 哪个 位 置 。 
研究 人 员 已 经 开发 了 同步 定位 与 导航 (Simultaneous Localization and Mapping，SLAM) 技术 来 完成 此 任务 。 在 SLAM 之 
前 ， 构 建 该 地 图 所 需 的 传感器 一 直 价格 高 昂 且 体积 庞大 ， 而 Kinect 推 出 了 价格 实惠 的 轻 量 级 解决 方案 。 在 Kinect 发 布 的 几 周 内 ， 
基于 Kinect 辅 助 的 机 器 人 视频 便 频 频 出 现在 YouTube 上 ， 从 四 旋 屠 飞行 器 在 房间 内 自主 绕 圈 飞行 ， 到 机 器 人 在 废墟 中 自动 巡航 
来 寻找 地 震 的 幸存 者 。 


谷歌 的 自动 驾驶 汽车 也 使 用 了 SLAM 技 术 和 自行 研发 的 相机 和 传感器 。 如 图 2-5 所 示 ， 这 辆 汽车 可 以 自行 处 理 地 图 和 传感器 
数据 以 确定 其 位 置 ， 并 根据 周围 物体 的 大 小 、 形 状 和 运动 方式 对 环境 进行 理解 与 判断 。 自 动 驾 驶 技术 让 汽车 能 够 预测 环境 中 各 个 
物体 下 一 步 可 能 的 动作 ， 并 作出 响应 ， 例 如 检测 到 穿 过 街道 的 行人 时 会 自动 刹车 。 





图 2-5: 谷歌 自动 驾驶 汽车 在 街道 上 自如 行驶 (https://waymo.com/) 


SLAM 的 用 途 并 不 仅 限于 自动 驾驶 车 辆 、 机 器 人 或 无 人 机 ， 人 类 也 可 以 用 它 来 对 环境 建 模 。 麻 省 理工 学 院 (MIT) 为 人 类 开 
发 了 可 穿戴 SLAM 设 备 的 首 个 实例 。 该 系统 最 初 是 为 紧急 救援 人 员 设 计 的 。 辟 如， 首次 进入 未 知 领域 的 响应 人 员 只 需要 在 胸 前 佩 
戴 一 个 Kinect 相 机 ， 该 环境 的 三 维 数字 地 图 就 可 以 随 着 相应 人 员 的 移动 而 实时 建立 。 同 时 ， 用 户 也 可 以 使 用 手中 的 按钮 对 特定 位 
置 进行 标记 。 地 图 可 以 实时 共享 ， 并 无 线 同步 到 离 岸 指挥 中 心 。 


SLAM 技 术 也 为 我 们 带 来 了 新 的 游戏 形式 。2011 年 瑞典 斯 德 哥 尔 摩 第 13 实 验 室 创造 了 一 款 游 戏 : 星球 入 侵 ， 这 是 早期 将 
SLAM 整 合 到 AR 游戏 中 的 经 典 案例 。 只 需要 将 iPad 放 在 面前 ， 便 可 以 看 到 物理 环境 中 到 处 漂浮 着 虚拟 的 目标 ， 我 们 可 以 在 其 中 
自由 地 追逐 和 射击 。 独 特 的 是 ， 在 “星球 入 侵 ” 中， 虚拟 元 素 可 以 与 你 的 物理 世界 相互 作用 : 虚拟 子弹 从 你 面前 的 墙壁 上 弹 起 ， 
虚拟 的 球体 入 侵 了 你 的 家 并 隐藏 在 你 的 家 具 后 面 。 当 你 移动 ijPad 的 相机 来 玩 这 款 游 戏 的 时 候 ， 一 个 三 维 环境 地 图 正在 实时 构建 
以 支持 这 些 互动 。2012 年 ， 第 13 实 验 室 发 布 了 “点 云 ”， 这 是 一 款 采 用 SLAM 3D 技 术 的 iOS 软 件 开 发 工具 包 。2014 年 ，VR 技 术 
公司 Oculus 将 第 13 实 验 室 收购 。 


今天 ，SLAM 已 经 成 为 谷歌 Tango AR 计算 平台 背后 的 基础 技术 之 一 。2015 年 ，Tango 的 平板 电脑 开发 套件 首先 对 专业 开发 
人 员 开 放 ， 在 此 之 后 的 2016 年 到 2017 年 间 ， 基 于 Tango 的 智能 手机 接连 推出 ， 比 如 联想 的 Phab 2 Pro 和 华硕 的 ZenFone AR。 
Tango 可 以 实现 诸如 无 GPS 精确 导航 、 虚 拟 三 维 世界 观测 、 实 时 空间 测量 以 及 特殊 设计 的 增强 现实 游戏 一 一 智能 地 对 周围 环境 
进行 建 模 并 定位 用 户 位 置 。 谷 歌 将 Tango 的 目标 设 定 为 “让 移动 设备 像 人 类 一 样 理解 空间 和 运动 ”， 如 图 2-6 所 示 。 





图 2-6: 谷歌 Tango 的 增强 现实 应 用 示例 (https://www.google.com/atap/ptroject-tango/) 


现在 ， 我 们 已 经 离 不 开 自己 的 智能 手机 了 ， 而 日 新 月 异 的 AR 技术 (比如 Tango) 致力 于 让 智能 手机 和 人 类 一 样 观察 、 学 习 
和 理解 这 个 世界 。 这 会 给 我 们 带 来 和 物理 世界 的 全 新 交互 方式 ， 并 且 和 虚拟 世界 无 颖 连接 ; 物理 世界 和 虚拟 现实 可 以 分 享 同 样 的 
内 容 和 情境 ， 从 而 创造 出 更 深层 次 的 沉浸 感 。 虚 拟 和 真实 之 间 的 分 界线 会 愈加 模糊 ， 技 术 将 逐渐 学 会 理解 我 们 的 环境 ， 并 帮助 我 
们 更 好 地 适应 它 ， 从 而 让 我 们 拥有 更 好 的 生活 体验 。 


让 盲人 看 见 


如 果 我 们 能 够 让 电脑 和 平板 电脑 看 见 这 个 世界 ， 为 什么 不 使 用 同样 的 技术 来 帮助 人 类 呢 ? 英特尔 RealSense 交 互 设计 组 总 监 
Rajiv Mongia 及 其 团队 开发 了 一 款 可 穿戴 设备 的 便携 式 原型 ， 利 用 RealSense 3D 相 机 技术 ， 来 帮助 视力 障碍 者 更 好 地 了 解 周围 
环境 。 

在 Las Vegas 的 2015 年 国际 消费 电子 展 (CES) 上 ， 在 舞台 上 展示 了 RealSense 空 间 知觉 体验 可 穿戴 设备 。 它 的 主体 是 一 个 
装 有 计算 世 片 的 背心 ， 通 过 无 线 与 8 个 拇指 大 小 的 振动 传感器 进行 连接 ， 这 些 传 感 器 分 别 位 于 胸部 、 躯 干 、 手 腕 和 脚 腕 附近 。 它 
可 以 通过 查看 深度 信息 来 感知 佩戴 者 周围 的 环境 ， 并 通过 接触 体验 技术 利用 电机 的 震动 将 反馈 发 送 给 佩戴 者 ， 如 图 2-7 所 示 。 


图 2-7: 装 有 振动 传感器 的 背心 原型 ， 能 够 告知 佩戴 者 周围 的 环境 信息 


振动 传感器 的 工作 形式 和 手机 上 的 振动 模式 类 似 ， 振 动 强度 与 物体 距 佩戴 者 的 距离 成 正比 。 如 果 物 体 非 常 接近 ， 则 振动 较 
强 ; 如 果 物 体 较 远 ， 则 震动 强度 相应 减 小 。 


英特尔 技术 项 目 经 理 Darry| Adams 已 经 对 系统 进行 了 测试 。Adams 在 30 年 前 被 诊断 为 色素 性 视网膜 炎 ， 他 表示 该 技术 使 他 
可 以 充分 利用 他 所 拥有 的 视力 ， 结 合 触觉 更 好 地 感知 周围 的 环境 。 





对 我 来 说 ， 这 项 技术 有 着 巨大 价值 ， 尤 其 在 对 周围 环境 变化 进行 感知 这 项 能 力 上 。 如 果 在 静止 站 着 的 时 候 感觉 到 振动 ， 我 就 
可 以 立即 转向 信号 传 来 的 大 致 方向 ， 来 确认 具体 发 生 的 事情 。 通 常 ， 我 会 发 现 有 人 接近 我 ， 在 这 种 情况 下 我 可 以 向 他 们 打招呼 ， 
我 可 以 知道 他 们 在 那里 。 没 有 这 项 技术 ， 我 一 般 会 错过 这 种 社交 场景 ， 这 常常 也 会 带 来 一 点 起 从 。 


该 系统 在 三 名 佩戴 者 身上 成 功 进行 了 测试 ， 每 个 佩戴 者 的 需求 和 视力 水 平 都 不 相同 ， 从 低 视力 到 全 言 。 通 过 硬件 模块 化 技 
术 ，Mongia 和 他 的 团队 正在 努力 使 系统 变 得 可 扩展 ， 以 允许 用 户 选 择 最 适合 其 特定 情况 的 传感器 和 触觉 终端 的 组 合 。 


嘱 


Adams 希 望 让 软件 可 以 感知 环境 ， 以 便 系统 可 以 在 任何 给 定 情况 下 响应 佩戴 者 的 需求 。 他 认为 这 项 技术 可 以 不 断 演进 ， 
如 逐渐 吉 括 面部 识别 或 视线 跟踪 等 功能 。 当 有 人 正在 看 着 自己 时 ， 佩 戴 者 就 可 以 收 到 和 警报， 而 不 仅仅 是 知道 附近 有 人 。 


人 工 智能 (Artificial Intelligence，Al) 技术 可 以 与 AR 技术 进一步 整合 ， 以 便 更 好 地 理解 佩戴 者 的 环境 和 背景 ， 从 而 为 可 穿 
戴 设 备 提供 更 好 的 体验 。 诸 如 机 器 学 习 这 类 方法 可 以 帮助 计算 机 提供 人 类 大 脑 的 一 部 分 能 力 ， 使 计算 机 程序 能 够 在 接收 到 新 数据 
时 自主 学 习 如 何 执行 新 任务 ， 而 无 需 提前 对 这 些 任务 进行 明确 的 编程 指令 。 


1. 机 器 学 习 辅 助 计算 机 视觉 


OrCam (http://www.orcam.com/) 是 为 视 障 人 士 特别 设计 的 设备 ， 它 使 用 机 器 学 习 技术 来 帮助 佩戴 者 了 解 自己 所 在 的 环 
境 ， 并 更 好 地 与 之 进行 交互 。 该 设备 可 以 识别 文本 和 物体 ， 诸 如 人 脸 、 产 品 和 纸币 等 。 


OrCam 设 备 看 起 来 是 一 副 装 有 相机 的 眼镜 ， 它 可 以 持续 对 佩戴 者 周围 的 环境 进行 扫 摘 。 相 机 与 一 个 小 到 可 以 放 到 口袋 里 的 
便携 式 计算 机 通过 很 细 的 数据 线 连 接 。OrCam 使 用 音频 代 蔡 了 振动 传感器 (比如 RealSense 空 间 知 觉 体验 可 穿戴 设备 使 用 的 那 
种 ) 。 针 对 不 同 的 场景 ， 它 会 读 出 相应 的 物体 词汇 或 人 物 名称 ， 通 过 骨 传 导 扬声器 将 声音 传递 给 佩戴 者 。 


OrCam 的 佩戴 者 可 以 通过 手指 来 告诉 设备 他 感 兴趣 的 内 容 。 “简单 地 指向 图 书 ， 设 备 将 会 为 你 阅读 ，”OrCam 研 究 与 开发 
部 门 负责 人 Yonatan Wexler 在 《Augmented Reality Applications: Helping the Blind to See》 [2 中 提 到 ，“ 只 需要 将 手指 
沿 着 电话 账单 移动 ， 智 能 设备 将 会 读 取 这 些 内 容 ， 让 你 知道 是 谁 的 来 电 和 对 应 的 金额 。” 为 了 教会 系统 阅读 ， 它 反复 读 取 了 数 百 
万 个 示例 ， 使 得 算法 能 够 稳定 地 产生 可 靠 的 结果 。 


Wexler 表 示 ， 确 定 人 物 和 面孔 时 不 需要 定向 。“ 当 你 的 朋友 正在 接近 你 时 ， 设 备 会 提醒 你 。 我 们 只 需要 大 约 十 秒 的 时 间 来 
教会 设备 识别 一 个 人 ，” 他 说 ，“ 所 有 需要 做 的 事情 就 是 让 那个 人 看 着 你 ， 然 后 说 出 他 们 的 名 字 。 ”OrCam 为 该 人 拍摄 了 一 张 
照片 ， 将 它 存储 在 系统 内 存 中 。 当 下 一 次 相机 的 镜头 中 出 现 这 个 人 时 ， 设 备 将 会 识别 他 的 身份 ， 甚 至 可 以 给 出 被 识别 者 的 名 字 。 


OrCam 使 用 机 器 学 习 来 进行 人 脸 识别 。 研 发 团队 必须 为 OrCam 提 供 数 十 万 张 不 同 面孔 的 图 像 ， 用 以 对 OrCam 的 模型 进行 
训练 。 当 用 户 佩戴 OrCam 时 ， 程 序 会 排查 所 有 图 像 ， 拒 绝 其 中 不 匹配 的 对 象 ， 直 到 只 剩 下 一 张 匹配 的 图 片 。 每 次 OrCam 佩 戴 者 
遇 到 他 们 曾经 鉴 识 过 的 人 的 时 候 ， 都 会 马上 执行 这 个 人 脸 识 别 过 程 。 


2. 让 大 脑 看 见 声音 


OrCam 受 过 专业 训练 ， 可 以 看 到 你 的 世界 ， 并 为 你 提供 周围 环境 的 口译 服务 。 而 另 一 条 技术 发 展 的 道路 来 自 于 计算 机 视觉 
技术 ， 如 vOICe 和 EyeMusic。 这 些 技术 并 非 借助 机 器 学 习 技术 告诉 穿戴 者 它 正在 看 什么 ， 而 是 探索 人 类 的 大 脑 如 何 接受 其 他 感 
官 的 信号 ， 其 中 的 一 个 重要 方向 是 学 习 如 何 “ 看 见 ”声音 。 


神经 科学 家 Amir Amedi 提 出 了 一 个 问题 : “我 们 是 否 可 能 找到 一 种 为 视力 障碍 的 人 类 直接 在 大 脑 中 提供 视 党 信息 的 方式 ， 
来 绕 过 他 们 眼睛 存在 的 问题 ? ”Amedi 和 他 的 团队 进行 的 脑 成 像 研究 表明 ， 当 先天 失明 者 使 用 vOICe 和 EyeMusic 这 样 的 辅助 系 
统 来 “看 ”这 个 世界 的 时 候 ， 他 们 大 脑 中 与 视觉 正常 人 类 相同 的 信息 处 理 区 域 将 被 激活 。 然 而 ， 信 号 不 是 穿 过 视觉 皮层 ， 而 是 通 


过 听觉 皮层 进入 大 脑 ， 并 传导 到 大 脑 中 的 正确 位 置 。 


vOICe 系 统 (OIC=Oh 1 see=“ 哦 ， 我 看 见 了 ! ”) 可 以 将 摄像 机 的 图 像 转换 为 音频 信号 ， 以 帮助 那些 先天 失明 的 人 。 由 
Peter Meijer 开 发 的 vOICe 像 是 一 副 带 有 小 型 相机 的 太阳 有 眼镜， 可 以 连接 到 计算 机 和 耳机 ， 该 系统 也 可 以 通过 在 智能 手机 上 下 载 
软件 ， 借 助 于 手机 的 内 置 相 机 执行 相应 的 功能 。 


vOICe 软 件 使 你 的 周边 环境 成 为 “有 声 景 像 ”。 摄 像 机 从 左 到 右 连 续 扫 描 环境 ， 将 每 个 像素 转换 为 蜂 鸣 声 : 频率 表示 其 垂直 
位 置 ， 音 量 表示 对 应 的 像素 的 亮度 。 更 明亮 的 物体 会 发 出 更 大 的 声音 ， 而 声调 告诉 我 们 物体 的 物理 位 置 是 高 还 是 低 。 

Amedi 和 他 的 同事 让 天 生 失 明 的 人 能 够 使 用 vOICe 和 EyeMusic 来 “看 ”这 个 世界 ， 最 近 由 Amedi 开 发 的 应 用 程序 能 够 赋予 
不 同色 调 相应 的 音调 ， 并 使 用 不 同类 型 的 乐器 来 传达 色彩 。 例 如 ， 蓝 色 由 小 号 表现 ， 红 色 是 管风琴 上 的 一 个 和 弦 ， 黄 色 对 应 着 小 
是 琴 ， 白 色 由 人 类 的 声音 代表 ， 而 黑色 表示 着 沉默 。 

Amedi 表 示 ， 训 练 一 个 人 的 大 脑 学 会 “看 ”大 约 需要 70 个 小 时 。 系 统 可 以 教会 用 户 识别 各 种 物体 ， 包 括 人 脸 、 身 体 和 景观 

。 这 些 信息 都 将 在 大 脑 的 视觉 皮层 处 理 。 “人 们 认为 大 脑 根据 感官 收集 到 的 信号 组 织 信息 ， 但 我 们 的 研究 表明 情况 并 非 如 
此 ，”Roni Jacobson 在 《App Helps the Blind ‘See” With Their Ears》B] 中 表示 ，“ 人 脑 比 我 们 想象 的 更 灵活 。” 


向 


Amedi 和 Meijer 所 进行 的 这 类 研究 向 我 们 展示 了 传统 意义 上 “看 ”世界 的 方式 正在 发 生 改变 ， 计 算 机 和 人 类 大 脑 正 在 学 着 
以 新 的 方式 观察 世界 一 一 科技 与 人 类 将 共同 进步 。 


定制 属于 你 的 现实 


在 计算 机 视觉 的 帮助 下 ， 感 知 和 解释 环境 的 能 力也 使 得 过 滤 真 实物 体 成 为 可 能 ;我 们 可 以 有 选择 地 看 见 或 者 看 不 见 周围 的 世 
界 。 这 种 技术 为 我 们 提供 了 从 现实 世界 中 去 除 掉 我 们 不 希望 看 到 的 东西 的 可 能 性 。 





《 黑 镜 》 一 部 极 受 欢迎 的 讽刺 现代 技术 的 电视 剧 ， 在 2014 年 的 “白色 圣诞 节 ” 一 季 中 ， 想 象 了 一 种 按 下 一 个 按钮 就 能 
够 屏 菩 现 实 世 界 中 其 他 人 的 能 力 。 屏 菩 后 你 会 看 到 一 个 人 形 的 空白 ， 并 听 到 一 声 阅 响 同时 被 屏蔽 的 人 将 会 看 到 和 你 眼中 一 样 的 场 
景 。2010 年 ,日 本 开发 商 Takayuki Fukatsu 使 用 Kinect 和 OpenFrameworks， 搭 建 了 一 个 与 《 黑 镜 》 一 剧 中 描述 的 技术 类 似 的 
演示 模型 。Fukatsu 的 光学 迷彩 模型 成 功 展示 了 人 与 其 背景 融合 而 变 得 不 可 见 的 这 一 过 程 。 


被 称 为 “可 穿戴 计算 之 父 ” 的 史 蒂 夫 . 曼 恩 博士 是 多 伦 多 大 学 电气 工程 与 计算 机 科学 系 教授 。 曼 恩 在 20 世 纪 90 年 代 定义 
了 “ 介 导 现实 ”一 词 。 他 在 《Mediated Reality: University of Toronto RWM Project》 思 中 提 到 ，“ 介 导 现实 与 虚拟 现实 
(或 增强 现实 ) 不 同 ， 它 允许 我 们 过 滤 掉 违反 我 们 意愿 的 事情 ”。 对 于 曼 恩 来 说 ， 可 穿戴 式 计算 设备 能 够 为 用 户 提供 “ 自 创 的 个 
性 化 现实 ” 。 曼 恩 使 用 “ 介 导 现实 ”技术 ， 用 个 人 笔记 和 说 明代 蔡 了 现实 世界 中 频繁 出 现 的 广告 。 


新 媒体 艺术 家 Julian Oliver 将 曼 恩 的 工作 作为 “艺术 广告 家 ”的 灵感 ， 这 是 2008 年 发 起 的 一 个 介 导 现实 项 目 ， 由 他 与 
Damian Stewart 和 Arturo Castro 合 作 开 发 。“ 艺 术 广 告 家 ”是 一 个 软件 平台 ， 可 以 实时 用 艺术 品 取代 广告 牌 。 这 一 平台 训练 
计算 机 以 识别 广告 所 在 区 域 ， 并 将 此 区 域 转换 成 虚拟 画布 ， 使 得 艺术 家 可 以 在 其 上 展示 图 像 或 视频 。 人 们 可 以 用 手持 设备 (看 起 
来 就 像 一 架 双 简 望 远 镜 ) 来 观看 艺术 品 ， 如 图 2-8 所 示 。 
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图 2-8: 在 “艺术 广告 家 ”中 ， 广 告 所 在 的 位 置 可 以 被 用 户 喜 欢 的 艺术 品 所 取代 (http://theartvertiser.com/) 


Oliver 认 为 “艺术 广告 家 ”是 “改进 现实 ”的 一 个 案例 ， 而 不 是 增强 现实 的 一 种 形式 ， 他 将 该 项 目 描述 为 将 “公共 空 
间 ” 从 “只 读 ” 转 换 为 “可 读 写 ” 平 台 。“ 艺 术 广告 家 ”采用 了 颠覆 性 的 技术 来 定位 和 和 暂时 拦截 由 广告 主导 的 现实 环境 。 


2015 年 建立 的 “品牌 杀手 ”是 基于 曼 恩 和 Oliver 的 工作 的 新 项 目 。 它 由 宾夕法尼亚 大 学 的 学 生 Tom Catullo、Alex Crits- 
Christoph、Jonathan Dubin 和 Reed Rosenbluth 创 建 ， 用 于 实时 模糊 出 现在 其 佩戴 者 视野 内 的 广告 。 学 生 们 提出 了 一 个 问 
题 : “作为 消费 者 ， 我 们 要 如 何 面 对 这 个 拥有 太 多 公司 品牌 的 世界 ?”” “品牌 杀手 ”是 一 台 定 制 化 的 头 戴 式 显示 器 ， 它 使 用 
openCV 对 图 像 进行 处 理 ， 以 实时 识别 和 封锁 用 户 视野 内 所 出 现 的 品牌 和 商标 。 这 和 群 学 生 把 它 比喻 为 “现实 世界 中 的 
AdBlock”。 


我 们 已 经 可 以 通过 “ 介 导 现实 ”技术 来 阻止 广告 ， 甚 至 阻止 我 们 不 想见 到 的 人 再 次 出 现在 我 们 的 视野 中 。 那 么 ， 除 了 广告 和 
其 他 人 之 外 ， 我 们 还 能 选择 性 地 通过 这 项 技术 屏蔽 什么 呢 ? 


当 我 们 设计 增强 现实 的 未 来 时 ， 一 个 需要 考虑 的 问题 是 : 根据 用 户 的 需求 利用 数字 技术 过 滤 、 调 和 和 蔡 换 选 定 的 内 容 这 一 行 
为 ， 究 竟 是 会 提升 我 们 的 现实 体验 ， 还 是 会 将 我 们 与 真实 世界 分 离 。 从 个 人 的 角度 ， 我 希望 这 些 新 技术 将 用 于 支持 人 际 交 往 、 沟 
通 和 交流 ， 甚 至 帮助 人 类 建立 共 情 。 


虽然 人 类 往往 倾向 于 从 现实 中 除去 自己 不 想 看 到 的 东西 ， 如 流浪 者 、 贫 穷 者 和 疾病 者 ， 但 我 们 或 者 说 整个 社会 必须 积极 地 面 
对 和 处 理 这 些 事情 。“ 介 导 现 实 ” 技 术 的 确 有 可 能 培养 出 偏向 回避 甚至 无 知 的 文化 ， 我 们 不 应 该 对 真实 的 现实 视而不见 。 


“ 介 导 现实 ”的 一 个 积极 面 是 它 为 我 们 提供 了 一 种 集中 注意 力 的 方式 。 将 来 ， 这 种 技术 可 以 依靠 对 干扰 因素 的 过 滤 ， 为 我 们 
带 来 更 多 人 与 人 之 间 交 流 的 机 会 。 在 这 个 信息 爆炸 的 时 代 ， 我 们 每 天 都 在 被 各 种 技术 和 通知 友 炸 。 如 果 “ 介 导 现 实 ” 可 以 提供 一 
个 简单 的 方法 ， 让 我 们 暂时 完全 摆脱 干扰 呢 ? 


另 一 个 关键 问题 是 ， 谁 将 会 成 为 这 个 新 的 现实 世界 的 导演 ? 某 个 人 、 某 个 公司 还 是 某 个 组 织 ? 我 们 将 感知 谁 的 介 导 现实 ? 什 
么 样 的 视觉 过 滤器 或 信号 拦截 工具 将 会 出 现 ?” 用 Oliver 的 话说 ， 我 们 将 成 为 可 读 写 环境 的 一 部 分 吗 ? 还 是 只 读 的 ? 

和 互联 网 分 享 信息 的 方式 类 似 ， 我 相信 增强 现实 (包括 “ 介 导 现实 ”) 将 会 是 可 读 写 的 。 万 维 网 发 明 家 Tim Berners-Lee 认 
为 互联 网 是 一 个 允许 我 们 用 新 颖 和 强大 的 方式 来 分 享 经 验 的 地 方 。 在 《Tim Berners-Lee: Weaving a Semantic Web》P] 中 ， 
他 说 : “我 最 初 想 做 的 事情 是 使 它 成 为 一 个 合作 的 媒介 ， 一 个 大 家 可 以 互相 了 解 并 一 起 阅读 和 写作 的 地 方 ”。 互 联网 重组 了 我 们 
分 享 和 接触 信息 的 方式 ， 而 增强 现实 也 拥有 同 互联 网 一 样 的 潜力 。 

时 至 今日 ， 增 强 现 实 技术 已 经 积 携 了 足够 多 的 案例 ， 并 提出 了 一 种 感知 世界 的 新 方式 ， 它 可 以 让 视力 障碍 者 重新 看 到 世界 ， 
可 以 帮助 艺术 家 想象 新 的 互动 体验 ， 可 以 提供 能 协助 人 们 日 常生 活 的 机 器 人 。AR 技 术 有 能 力 改善 人 们 的 生活 ， 也 有 能 力 启发 我 
们 以 新 的 生活 方式 与 周围 环境 相互 影响 。 

在 本 章 开 头 Vertov 的 句子 “我 ， 一 台 机 器 ， 为 你 展示 我 眼中 的 世界 ”中 ， 我 们 不 妨 用 “人 类 ”来 代替 “机 器 ”一 词 ， 这 样 
我 们 将 得 以 享受 互联 网 带 来 的 丰富 信息 : 对 人 类 经 验 和 观点 的 全 球 化 收集 和 共享 。 为 了 对 社会 产生 积极 影响 ， 以 有 意义 的 方式 为 
人 类 做 出 贡献 ， 增 强 现 实 技术 也 需要 找到 属于 自己 的 道路 来 呼应 万 维 网 的 原始 愿景 : 海纳百川 ， 有 容 乃 大 。 
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第 3 草 ”触摸 体验 


下 一 波 AR 技 术 将 探索 并 创造 新 的 感官 体验 一 一 技术 为 我 们 创造 的 感受 将 不 仅 限 于 视觉 。 触 感 增强 现实 不 仅 可 以 同步 我 们 看 
到 的 东西 及 其 带 来 的 现实 触感 ， 还 拥有 为 我 们 创造 新 的 沟通 方式 的 潜力 。 苹 果 手 表 的 “taptic 引 
擎 ” (http://tacticalhaptics.com) 可 以 为 新 信息 通知 等 提供 恰如其分 的 触感 反馈 ， 如 图 3-1 所 示 ， 对 于 为 虚拟 现实 应 用 设计 的 
新 型 触觉 遥控 器 (例如 战术 触觉 Tactical Haptics) 来 说 ， 触 党 体验 将 为 VR 提 供 新 的 现实 感 ， 数 字 触 党 的 发 展 也 指日可待 。 





图 3-1: 依靠 手柄 周围 的 盘 状 滑 片 进行 触觉 反馈 的 装置 ， 滑 片 能 够 独立 驱动 并 重 直 滑动 
(http://tacticalhaptics.com/files/IQT_Quarterly_Fall2014_Provanchetr.pdf) 


在 物理 世界 中 ， 你 可 以 用 手 摸 到 面前 的 东西 ， 把 它 拿 在 手 上 或 者 做 点 其 他 的 事情 。 在 增强 现实 中 ， 虚 拟 物 品 虽 然 看 起 来 存在 
于 你 的 世界 里 ， 但 如 果 你 伸 出 手 来 触摸 它 ， 将 会 触 到 玻璃 或 稀薄 的 空气 一 取决 于 你 使 用 的 是 智能 手机 还 是 增强 现实 眼镜 。 


在 第 1 章 中 ， 三 维 注册 被 认为 是 在 现实 世界 中 无 颖 对 齐 三 维 空间 中 的 虚拟 对 象 的 最 好 方式 。 增 强 现实 中 的 注册 目前 集中 在 视 
觉 对 齐 上 ， 但 其 他 感官 呢 ? 如 果 AR 的 目标 之 一 是 提供 无 颖 的 环境 和 体验 ， 那 么 当 用 户 尝试 触摸 虚拟 物品 时 ， 这 种 感觉 就 会 被 破 
坏 ， 我 们 不 会 有 任何 感觉 。 所 以 增强 现实 的 下 一 步 发 展 是 使 虚拟 物品 可 以 被 触摸 ， 这 项 技术 将 会 进一步 模糊 我 们 对 真实 和 虚拟 的 
认 知 边界 。 


触摸 可 以 帮助 我 们 探索 和 理解 现实 世界 。 触 觉 通过 感受 物体 的 纹理 和 重量 等 方面 ， 帮 助 我 们 了 解 一 些 更 深层 次 的 东西 。 从 而 
我 们 能 够 认 知 : 这 个 东西 是 用 什么 制造 出 来 的 ， 它 和 其 他 东西 摸 起 来 有 什么 区 别 。 触 感 允 许 我 们 验证 一 个 物体 在 物理 上 是 否 真实 
存在 。 


我 曾经 坚信 上 一 段 的 最 后 一 句 话 是 真 的 ， 直 到 2011 年 ， 在 南澳 大 利 亚 大 学 魔术 视觉 实验 室 ， 我 第 一 次 尝试 了 触觉 体验 (能 
够 提供 触觉 反馈 的 新 技术 ) 。 我 能 记得 的 事情 是 ， 自 己 一 直 在 努力 确认 什么 是 真实 的 ， 什 么 又 是 虚拟 的 。 我 被 彻底 震撼 了 。 我 能 
够 看 到 并 触摸 一 条 虚拟 的 鱼 ， 感 党 到 鱼 身上 的 每 一 片 鳞片 ， 就 像 它 真 的 存在 一 样 。 能 够 摸 到 真实 世界 中 并 不 存在 的 东西 并 拥有 物 
理 上 的 触觉 反馈 ， 这 真 的 是 前 所 未 有 令 人 迷惑 的 感受 。 这 是 怎么 变 成 可 能 的 呢 ? 


顶 着 头 戴 式 显示 器 (HMD) ， 拿 着 被 称 为 PHANTOM 桌 面 的 触觉 设备 〈( 它 具有 和 笔 类 似 的 附件 ) ， 我 可 以 触摸 并 感受 出 现 
在 我 周围 环境 中 的 虚拟 物体 。 该 触觉 装置 使 用 三 个 通过 在 触 针 上 施加 压力 而 产生 力 反 馈 的 小 电动 机 ， 在 单个 接触 点 处 模拟 触感 。 
除了 纹理 之 外 ， 我 们 还 可 以 使 用 这 个 工具 感受 到 重量 ， 如 图 3-2 所 示 。 


这 种 错觉 现在 变 得 非常 可 信 : 我 所 看 到 的 物体 可 以 与 我 的 感觉 实际 对 应 。 视 沉 和 触感 在 现实 中 紧密 耦合 ， 但 在 目前 的 增强 现 
实 技术 中 ， 绝 大 多 数 情况 下 ， 两 者 之 间 人 存在 着 区 别 。 增 强 触觉 体验 彻底 改变 了 我 的 AR 经 历 ， 同 时 也 让 我 对 未 来 新 媒体 发 展 的 设 
想 更 加 大 胆 。 





图 3-2: 借助 手持 反应 式 握力 触觉 运动 控制 器 进行 物理 交互 的 案例 
(http://tacticalhaptics.com/files/IQT_Quarterly_Fall2014_Provanchetr.pdf) 


2011 年 ， 我 设计 并 制作 了 《Who”sAfraid of Bugs? 》， 这 是 世界 上 第 一 本 使 用 iPad 图 像 识 别 的 AR 立 体 书 ( 见 图 3-3) 。 
这 本 书 结合 了 纸 艺 工 程 的 艺术 (切割 、 胶 合 和 折纸 ) 与 增强 现实 的 魔力 ， 创 建 了 一 本 探索 对 虫子 的 恐惧 的 物理 立体 故事 书 。 在 通 
过 iPad 或 智能 手机 读 这 本 书 的 时 人 息 ， 各 种 虚拟 小 动物 将 会 出 现 ， 辟 如 一 只 有 息 过 你 手 的 毛 苷 昔 的 狼 蛛 。 虽 然 在 澳大利亚 魔术 视觉 
实验 室 的 触觉 体验 演示 之 前 ， 我 已 经 完成 了 对 这 本 书 的 设计 ; 但 我 可 以 很 容易 地 想到 触觉 体验 能 够 如 何 被 整合 到 本 书 的 下 一 个 版 
本 中 。 它 可 以 用 来 创造 一 个 更 棒 的 恐惧 诱导 体验 一 一 用 户 不 仅 可 以 看 到 蜂 蛛 爬 过 自己 的 手 ， 还 能 够 感觉 到 蜂 蛛 在 皮肤 上 经 过 时 
的 重量 和 质感 。 


与 前 面 提 过 的 虚拟 鱼 的 例子 一 样 ， 我 们 可 以 重新 创造 物体 在 物理 世界 中 的 体验 ， 并 将 其 应 用 于 虚拟 对 象 ， 作 为 进一步 增 
强 “ 注 册 ” 的 手段 。 在 推进 AR 作为 新 体验 媒介 时 ， 更 重要 的 是 ， 我 们 还 会 考虑 并 探索 新 的 方式 ， 例 如 我 们 可 以 使 用 增强 触 党 体 
验 ， 而 不 仪 仅 是 视觉 上 复制 物理 现实 。 


举 个 例子 ,我 们 是 否 可 以 创造 出 具有 强烈 对 比 体验 的 触觉 特性 ， 使 得 某 些 东西 看 起 来 很 柔软 ， 但 是 感觉 却 很 坚硬 ? 我 们 如 何 
超越 屏幕 ， 以 新 的 方式 体验 触觉 ? 我 们 可 以 用 触觉 刺激 作为 非 语言 交流 的 手段 吗 ? 在 本 章 中 ， 我 们 将 探讨 触觉 技术 的 研究 和 创 
新 ， 这 将 有 助 于 回答 上 面 这 些 问题 。 
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图 3-3: 《Who”sAfraid of Bugs? 》 立 体 故 事 书 样 例 ， 一 只 儿 蛛 出 现在 使 用 者 的 手 上 (https://vimeo.com/25608606) 





触 守 和 触摸 屏 


2011 年 在 魔术 视觉 实验 室 体验 到 的 触觉 体 验 演示 中 ， 我 们 使 用 了 一 般 人 无 法 负担 的 昂贵 而 笨重 的 设备 。 而 现在 ， 大 多 数 增 
强 现 实 使 用 的 是 智能 手机 或 平板 电脑 ， 在 不 久 的 将 来 ， 随 着 增强 现实 技术 逐渐 在 眼镜 上 可 用 ， 重 大 转变 指日可待 。 比 起 触摸 智能 
手机 或 平板 电脑 上 的 玻璃 屏幕 ，AR 有 眼镜 可 以 使 得 虚拟 世界 在 你 面前 自如 伸展 ， 以 新 的 方式 (包括 触 党 ) 进行 交互 。 


在 2011 年 发 表 的 《A Brief Rant on the Future of Interaction Design》[1] 中 ， 用 户 界面 (UI) 设计 师 和 人 机 交互 (HCI) 
研究 员 Bret Victor 对 各 种 未 来 互动 概念 进行 了 观察 ， 发 现 其 中 大 部 分 概念 都 完全 忽视 了 我 们 双手 对 物体 的 感受 和 操纵 。 他 认 
为 ， 世 界 上 几乎 每 一 个 物体 都 会 给 我 们 提供 某 种 形式 的 触觉 反馈 (无 论 是 重量 、 质 地 、 桑 韧性 还 是 形状 边缘 ) ， 在 使 用 它们 的 时 
候 ， 我 们 可 以 感受 到 这 个 物体 就 在 我 们 手 里 。 然 而 ， 他 表示 ， 像 iPad 这 样 的 设备 “牺牲 了 我 们 手 上 所 有 丰富 的 触感 ”。Victor 呼 
吁 ， 互 动 的 未 来 是 “我 们 可 以 看 到 、 感 受 和 操纵 的 动态 媒介 ” 。 


自 2011 年 Victor 发 表 这 篇 文章 以 来 ， 我 们 走 了 多 远 呢 ? 2015 年 ， 苹 果 公 司 在 iPhone 和 iPad 上 推出 了 taptic 引 警 ， 为 用 户 提 
供 了 触觉 反馈 。 我 们 开始 看 到 触觉 反馈 设备 和 触感 控制 正在 虚拟 现实 游戏 中 积极 发 展 ， 在 不 久 的 将 来 ， 我 们 可 能 会 看 到 这 些 为 增 
强 现 实 定制 的 工具 在 游戏 和 娱乐 领域 提供 的 更 佳 体 验 。 


在 2012 年 消费 电子 展 (Consumer Electronics Show，CES) 中 ，Senseg (一 家 位 于 芬兰 的 创业 公司 ) 的 E-Sense 技 术 首 
次 出 现 ， 它 提供 了 一 种 利用 平板 电脑 或 智能 手机 将 触觉 技术 和 增强 现实 集成 的 方式 ， 如 图 3-4 所 示 。 
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图 3-4: 用 户 可 以 在 平板 上 感受 不 同 材质 的 触感 (https://www.youtube.com/watch?v=FiCqlYKRIAA&feature=youtu.be) 


Senseg 的 副 总 裁 Dave Rice 表 示 ， 该 技术 能 够 为 触摸 屏 显示 器 增加 触 沉 效果， 能够 兼容 的 设备 包括 智能 手机 、 和 平板 电脑 、 触 
摸 板 和 游戏 机 等 。 他 讨论 了 开发 新 型 游戏 应 用 程序 的 可 能 性 ， 璧 如 说 设计 一 款 寻宝 游戏 ， 其 中 藏 起 来 的 宝藏 只 能 通过 触摸 屏幕 来 
感受 。Rice 在 《New Technology: Haptic Feedback for Touchscreens》 牛 中 提 到 : “没有 任何 视觉 线索 这 件 事情 非常 令 
兴奋 ， 因 为 现在 我 们 可 以 踏 入 触觉 的 世界 一 一 这 一 世界 不 仅 可 以 作为 对 视觉 世界 的 补充 ， 还 可 以 独立 存在， 真正 创造 一 个 新 的 
世界 供 我 们 探索 ”。 


E-Sense 通 过 使 用 静电 场 来 为 我 们 提供 触觉 ， 它 可 以 模拟 不 同 程度 的 摩 探 ， 使 其 在 平面 屏幕 上 产生 质感 。 该 技术 使 用 库仑 力 
(基于 其 电荷 性 质 而 对 物体 或 粒子 产生 引力 或 者 奈 力 ) 。 举 个 例子 ， 当 你 将 气球 在 头发 上 摩擦 之 后 ， 气 球 会 粘 在 头发 上 ， 因 为 当 
我 们 用 气球 摩擦 头发 时 ， 电 子 从 你 的 头发 转移 到 了 和 气球 上 : 你 的 头发 带 正 电 ， 气 球 带 负 电 ， 而 相反 的 电荷 之 间 具 有 吸引 力 。 
Senseg 在 你 的 手指 和 屏幕 之 间 创 造 了 一 个 吸引 力 。 通 过 对 这 种 力 的 调节 ， 可 以 模拟 产生 各 种 感觉 ， 以 给 不 同 的 形象 赋予 不 同 的 
纹理 和 质感 。 


想象 一 下 ， 在 智能 手机 或 平板 电脑 上 使 用 这 种 技术 可 以 让 我 们 在 家 中 体验 虚拟 的 动物 园 ， 并 且 能 够 感受 到 绵羊 绒毛 的 柔软 
度 。 触 觉 现 在 可 以 与 你 在 增强 现实 中 看 到 的 内 容 一 一 对 应 ， 虚 拟 形 象 不 再 拥有 “玻璃 感 ”。 


日 本 富士 通 实验 室 是 另 一 家 从 事 触摸 屏 触觉 体验 的 公司 。 在 西班牙 巴塞 罗 那 举行 的 2014 年 移动 世界 大 会 上 ， 该 公司 提出 了 
触感 平板 电脑 的 原型 ， 展 示 了 该 技术 如 何在 触摸 屏 表 面 上 模拟 大 大 小 小 形状 各 异 的 三 维 结构 。 这 次 演示 让 人 们 杀身 感受 到 了 转动 
锁 的 叶 咪 声 ， 沙 子 从 指 颖 间 流 下 的 触感 ， 以 及 手指 在 琴 弦 上 拨 动 的 感觉 。 


富士 通 实验 室 使 用 超声 波 振动 来 代替 静电 触 党 反馈， 依靠 不 同 程度 的 脉冲 力 来 让 人 们 感受 到 触觉 。 超 声波 振动 通过 将 手指 从 
平板 电脑 表面 推 开 来 产生 作用 ， 借 助 于 对 强度 的 控制 ， 它 可 以 模拟 各 种 纹理 表面 。 低 摩擦 和 高 摩擦 之 间 脉 冲 的 快速 变化 可 能 产生 
粗糙 或 颠 往 的 感觉 ， 而 对 应 的 物体 表面 可 以 通过 感受 高 压 空气 层 的 流 过 以 减少 摩擦 。 富 士 通 实验 室 计划 将 该 技术 商业 化 ， 网 络 购 
物 将 是 其 中 一 个 典型 的 场景 : 你 可 以 感受 到 自己 想 要 购买 的 商品 的 面料 了 。 


变形 屏幕 


senseg 和 富士 通 都 选择 在 平面 触摸 屏 上 模拟 触觉 效果 ， 但 是 如 果 触 摸 屏 可 以 动态 变形 并 且 物 理 上 取代 所 代表 的 图 像 或 对 象 
的 形状 呢 ? 想象 一 下 ， 我 们 可 以 用 双手 直接 把 虚拟 对 象 和 数据 从 2D 显 示 屏 拖 到 3D 环 境 中 。 


GHOST (通用 高 度 有 机 变形 表面 材料 ) 是 2013 年 由 位 于 英国 、 荷 兰 和 丹麦 的 四 所 大 学 发 起 的 一 个 研究 项 目 ， 主 要 研究 可 以 
触摸 和 感觉 的 可 变形 显示 器 。 研 究 人 员 基 于 莱卡 技术 建立 了 一 个 平板 显示 器 ， 与 玻璃 不 同 ， 它 可 以 随意 变形 ， 并 允许 你 直接 触及 
对 象 甚至 数据 ， 如 图 3-5 所 示 。 





图 3-5: 变性 材料 图 示 (httb://www.kaspethotnbaek.dk/papets/AVI2014_Gestutes.pdf) 


哥本哈根 大 学 的 项 目 研究 员 Kasper Hornb 一 一 最 好 是 它们 可 以 自动 改变 形状 。 这 与 Victor 将 电脑 屏幕 视 为 动态 视觉 媒介 的 
想法 不 谋 而 合 。 动 态 视 觉 媒 介 可 以 直观 地 表现 大 部 分 事物 ， 而 一 个 动态 的 触觉 媒介 ， 也 应 该 能 够 表现 几乎 任何 东西 ， 现 在 ， 我 们 
拥有 了 一 条 通 往 实践 的 道路 。 





举 两 个 例子 ， 这 种 可 变形 显示 技术 可 以 允许 外 科 医 生 进 入 虚拟 大 脑 开 展 手 术 ， 并 有 着 与 现实 生活 中 一 样 完 整 的 触觉 体验 ; 也 
可 以 允许 习惯 使 用 粘土 等 物理 材料 的 艺术 家 和 设计 师 用 手持 续 地 重 塑 物体 ， 并 将 其 存放 在 计算 机 上 。 也 OoTDbsK 表 示 ， 这 种 现实 
技术 可 以 让 你 握 住 另 一 半 的 手 ， 即 使 他 身 在 另 一 个 大 陆 。 


哥本哈根 大 学 研究 团队 的 成 员 Esben Warming Pedersen 解 释 了 可 变形 显示 技术 与 普通 玻璃 触摸 屏 工作 方式 的 不 同 之 处 。 
“iPad 实 际 看 到 的 只 是 你 用 来 触摸 玻璃 显示 屏 的 指 尖 部 分 。 所 以 ， 当 iPad 试 图 找 出 我 们 触摸 它 的 位 置 和 方法 的 时 候 ， 其 行为 可 
看 成 是 在 一 个 平面 坐标 系 上 的 定位 。” 而 可 变形 显示 技术 则 更 为 复杂 : 当 你 将 手指 按 在 显示 屏 上 时 ， 对 应 的 传感器 可 以 感知 三 维 
深度 数据 的 位 置 和 手指 给 屏幕 的 压力 ， 如 图 3-6 所 示 。Pedersen 正 在 努力 开发 相应 的 计算 机 视觉 算法 来 读 取 这 种 三 维 数据 ， 并 采 
用 对 计算 机 和 人 类 都 友好 的 方式 来 表示 ， 从 而 使 其 能 够 在 人 机 交互 中 得 到 应 用 。 





图 3-6: 变形 屏幕 图 示 。 右 侧 四 台 摄 像 机 用 于 实时 记录 影像 〈http://www.kaspethornbaek.dk/papets/AVI2014_Gestutres.pdf) 


Pedersen 发 现 的 另 一 个 挑战 是 我 们 还 不 知道 如 何 与 这 些 新 屏幕 进行 交互 。 他 认为 ， 当 前 我 们 常用 的 交互 方式 主要 针对 的 是 
二 维 显示 器 ， 例 如 用 两 根 手 指 往 不 同方 向 拖拉 照片 ， 照 片 会 被 缩小 或 放大 ; 在 屏幕 上 滑动 手指 ， 则 将 切换 到 另 一 张 图 片 。 但 是 如 
果 我 们 把 视线 转向 在 三 维 空间 中 的 手势 或 者 改变 物体 形状 手势 ， 屏 幕 的 使 用 方式 则 并 不 直观 。Pedersen 正 在 进行 用 户 调研 ， 以 
寻找 针对 新 屏幕 的 直观 交互 方法 。 


2014 年 ，Pedersen 和 HornbDj， 这 是 一 项 充满 不 确定 性 的 研究 ， 其 中 要 求 参与 者 在 可 变形 屏幕 上 用 他 们 认为 适合 的 手势 来 
完成 不 同类 型 的 任务 ， 例 如 对 象 的 选择 、 导 航 和 3D 建 模 。 参 与 者 建议 的 一 部 分 手势 包括 将 手 穿 过 屏幕 ， 用 手掌 向 前 平 推 ， 抓 住 


物体 进行 扭转 等 ， 如 图 3-7 所 示 。 
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图 3-7: 缩放 三 维 物 体 的 用 户 手势 设计 示例 (http://www.kasperhornbaek.dk/papers/AVI2014_Gestures.pdf) 





能 触摸 的 不 仅 是 屏幕 


迪士尼 实验 室 研 发 了 一 种 截然 不 同 的 触觉 感知 方式 ， 没 有 采用 屏幕 ， 而 是 探索 其 他 的 互动 体验 。2012 年 ， 由 Ivan Poupyrev 
和 Olivier Bau 开 发 了 REVEL 洁 ， 使 得 人 工 触觉 不 仅 可 以 以 屏幕 为 载体 ， 还 可 以 在 包括 家 具 、 墙 壁 、 木 头 、 塑 料 甚 至 人 体 皮肤 等 
各 种 日 常 物 品 上 得 到 应 用 。 


REVEL 利 用 了 迪士尼 实验 室 称 之 为 反 电 动 振动 的 新 触觉 技术 。 设 备 将 弱电 信号 注入 用 户 的 身体 ， 在 用 户 手指 周围 产生 振荡 电 
场 。 当 使 用 者 将 手指 滑动 到 物体 的 表面 时 ， 就 能 够 感觉 到 物体 的 纹理 和 质感 。 通 过 改变 信号 特性 可 以 产生 不 同 的 触感 。 


哪怕 是 塑料 物体 平坦 甚至 滑 溜 的 表面 也 可 以 产生 粗糙 的 满 是 沟 饪 的 感觉 。REVEL 可 以 应 用 于 增强 现实 中 ， 辟 如 为 投影 到 桌子 
和 墙壁 上 (或 者 通过 AR 眼镜 看 到 ) 的 虚拟 对 象 添加 纹理 。 在 没有 眼镜 或 投影 的 情况 下 ，REVEL 技 术 也 可 以 对 现 有 的 物品 进行 增 
强 表现 ， 例 如 人 允许 用 户 透 过 博物 馆 的 玻璃 展示 柜 杀 手感 觉 文物 的 纹理 和 质感 一 一 通常 情况 下 ， 这 些 独一无二 的 脆弱 文物 是 不 允 
许 触摸 的 。 此 外 ，REVEL 可 以 针对 用 户 的 需求 进行 定制 ， 例 如 对 个 性 化 的 私有 内 容 进 行 展 示 ， 包 括 可 以 触摸 的 密码 提示 。 





2013 年 ， 迪 斯 尼 研 究 实 验 室 开发 了 《AIREAL: 自由 空气 中 的 交互 式 触觉 体验 》 和 由。 不 必 佩 戴 或 触摸 任何 物理 设备 ，AIREAL 
就 可 以 在 空气 中 提供 触觉 体验 。 这 是 通过 使 用 空气 涡流 (空气 环 ) 压缩 气体 力 场 以 对 用 户 的 皮肤 产生 刺激 来 实现 的 ， 使 得 用 户 能 
够 看 到 并 且 感 觉 到 投影 的 物体 ， 如 图 3-8 所 示 。 





图 3-8: AIREAL 应 用 示例 。 息 龙 出 现在 现实 世界 中 ， 并 带 有 相应 的 介绍 (http:/ /aireal.io/) 


AlREAL 的 设计 集成 了 深度 图 像 传 感 器 ， 用 户 的 手 、 头 部 和 身体 将 在 三 维 世 界 中 被 跟踪 以 进一步 交互 。 例 如 可 以 将 3D 蝴 蝶 投 
影 在 用 户 手 上 。 用 户 的 手 和 手臂 的 运动 由 AIREAL 实 时 定位 ， 相 应 调整 空气 旋涡 的 方向 以 模拟 蝴蝶 冯 膀 的 震动 。 早 期 用 户 反 馈 指 
出 ，“ 这 种 互动 方式 为 虚拟 蝴蝶 提供 了 令 人 惊讶 的 身体 感觉 ”四 ， 其 中 一 位 用 户 表 示 ，“ 这 种 感觉 非常 自然 ， 就 像 一 只 真正 的 蝴 
蝶 给 我 带 来 的 一 样 ”。 


UltraHaptics[ 潮 也 允许 你 在 空中 感受 虚拟 对 象 ， 与 AIREAL 通 过 在 用 户 面 上 吹 小 气 环 来 模拟 触感 不 同 ，UltraHaptics 的 核心 
技术 是 高 频 超声 波 。 作 为 GHOST 项 目的 一 部 分 ， 布 里 斯 托 大 学 的 计算 机 科学 家 在 2013 年 开发 了 UltraHaptics， 并 成 立 了 一 家 创 
业 公 司 以 将 此 技术 产品 化 。 


UltraHaptics 利 用 红外 传感器 来 跟踪 用 户 手 指 在 三 维 空间 中 的 精确 位 置 ， 使 超声 波 能 够 准确 地 指向 用 户 的 手 ， 并 产生 相应 的 
触感 。 该 公司 设想 了 一 系列 技术 应 用 ， 包 括 与 VR 游戏 中 的 移动 物体 (可 扩展 到 AR) 进行 交互 ， 以 及 汽车 仪表 板 的 空中 控制 。 在 
家 庭 环境 中 ， 该 技术 可 以 在 空中 控制 各 种 厨房 用 具 ， 以 避免 在 襄 饰 时 弄 脏 双 手 。 


该 公司 还 在 研究 安全 解决 方案 ， 包 括 与 捷豹 路 虎 合作 开发 其 信息 娱乐 智能 系统 的 空中 触摸 屏幕 。 该 系统 可 以 最 大 限度 地 减少 
驾驶 员 的 眼睛 和 手 停留 在 屏幕 上 的 时 间 ， 以 减少 司机 分 心 的 情况 发 生 。 在 交互 区 域内 ，UltraHaptics 解 决 方案 能 够 对 驾驶 员 的 手 
进行 定位 和 跟踪 ， 系 统 会 利用 物理 感觉 来 指示 相应 的 链接 。 用 户 可 以 感觉 到 开关 和 按钮 ， 在 空中 控制 它们 ， 并 获得 反馈 以 确认 相 
应 操作 已 经 成 功 完成 ， 而 所 有 这 些 操作 都 不 需要 查看 显示 屏 。 


[1] https://www.disneyre search.com/project/revel-programming-the-sense-of-touch/。 


[2] http://www.ultrahaptics.com/。 


触 锅 通信 


除了 模拟 控件 或 虚拟 对 象 的 触感 ，UltraHaptics 之 类 的 交互 系统 还 为 我 们 的 交互 提供 了 其 他 的 可 能 。 苏 塞 克 斯 大 学 信息 学 系 
的 科学 家 和 讲师 Marianna Obrist 正 在 使 用 UltraHaptics 来 探索 情感 的 沟通 。Obrist 写 道 : 


触摸 是 人 类 之 间 交 流 的 强大 手段 。 对 交互 式 系统 的 设计 需求 正在 不 断 增 长 ， 对 面部 表情 和 语音 沟通 之 外 的 情绪 表达 的 支持 也 
越 来 越 强 。 尤 其 是 通过 触摸 传达 和 表现 情感 这 一 研究 领域 ， 为 情感 相关 的 沟通 开辟 了 新 的 设计 机 会 。 


Obrist 指 出 了 UltraHaptics 这 样 的 下 一 代 技 术 如 何 能 够 通过 刺激 手中 的 不 同 领域 传达 幸福 、 翡 伤 、 兴 奋 或 丽 惧 的 感觉 。 担 
指 、 食 指 和 手掌 中 间 部 分 的 空气 在 短 时 间 内 突然 爆发 将 会 产生 兴奋 感 ， 而 翡 伤 的 感觉 是 由 于 手掌 外 侧 和 小 手指 周围 区 域 受到 缓慢 
和 适度 的 刺激 而 产生 的 。 


Obrist 举 了 一 个 假想 的 例子 ， 早 晨 上 班 前 ， 一 对 夫妇 刚刚 吵 了 一 架 。 而 在 会 议 中 ， 女 人 通过 手镯 感受 到 了 传递 到 她 掌心 的 温 
和 柔 感觉 。 这 种 感觉 安抚 了 她 ， 告 诉 她 自己 的 伴侣 不 再 生气 了 。 


Obrist 认 为 该 技术 的 应 用 将 十 分 广泛 。 它 可 以 开辟 新 的 沟通 方式 ， 不 仅 对 盲人 和 侈 人 有 用 ， 也 可 以 帮助 所 有 人 。 它 可 以 应 用 
于 一 对 一 的 相互 交流 ， 例 如 相距 千里 的 夫妇 或 朋友 之 间 的 触觉 交互 系统 ,或 者 可 以 用 于 一 对 多 的 交流 ， 为 较 大 的 群体 (如 电影 院 
的 观众 ) 创造 更 加 身 临 其 境 的 观看 体验 。 


Smartstones 计 是 一 家 总 部 位 于 美国 加 利 福 尼 亚 州 圣 巴巴 拉 市 的 公司 ， 它 正在 开发 一 种 触觉 语言 系统 ， 以 为 朋友 和 亲人 提 
供 一 种 不 需要 说 话 的 交流 方式 。Smartstones 平 台 人 允许 你 配置 消息 库 ， 并 使 用 简单 的 触摸 手势 发 送 和 接收 消息 。 这 种 被 称 为 
Touch 的 硬件 设备 形状 就 像 是 河 里 的 一 块 石头 ， 可 以 作为 吊 难 或 腕 带 佩 戴 在 身上 ， 或 者 握 在 掌心 。 每 次 收 到 消息 ， 都 将 产生 振动 
和 发 光 模 式 的 独特 组 合 ， 被 称 为 “Hapticon”， 如 图 3-9 所 示 。 


每 块 “ 石 头 ” 包 括 蓝牙 连接 、 陀 螺 仪 、LED 灯 、 扬 声 器 、 电 容 式 触摸 屏 (以 识别 和 响应 手指 的 轻微 触摸 ) 以 及 手势 识别 库 。 
智能 手机 的 配合 并 不 是 必需 的 ，Touch 可 以 通过 一 个 应 用 程序 进行 编码 ， 以 对 特定 的 手势 产生 反馈 。 你 可 以 使 用 它 来 创建 自己 的 
个 性 化 通信 系统 ， 甚 至 发 送 秘密 消息 。 当 敲 击 两 次 时 ， 这 块 “ 石 头 ” 可 以 告诉 所 爱 的 人 “我 想 你 ”， 当 用 拇指 摩擦 石 头 时 ， 将 传 
达 你 “感到 焦虑 ”的 信息 。 它 能 够 识别 的 其 他 手势 包括 滑动 、 点 击 和 摇 哆 。 


昌 然 Smartstones 这 一 设计 可 以 被 任何 人 使 用 ， 但 该 产品 最 初 是 针对 患 有 中 风 或 神经 系统 疾病 (如 ALS) 的 老年 人 所 研发 
的 。Smartstones 也 引起 了 有 自 闭 症 儿童 的 父母 的 兴趣 。 该 设备 的 初始 目标 之 一 是 为 不 能 口头 沟通 的 人 发 出 声音 ， 让 他 们 能 够 以 
简单 的 方式 快速 地 进行 交流 ， 而 无 需 长 时 间 学 习 盲 文 或 手语 。 “实际 上 ， 我 们 为 许多 人 的 理解 和 交流 创造 了 一 个 不 断 发 展 的 平 
台 ，”″Smartstones 创 始 人 兼 首席 执行 官 Andreas Forsland 在 《Augmenting life.Unlocking minds》D 中 提 到 ，“ 当 前 的 重 
点 是 人 与 人 之 间 的 沟通 一 一 增强 人 类 交流 和 发 展 的 能 力 。 更 具体 地 ， 我 们 可 以 帮助 具有 语言 障碍 的 人 ， 如 自 闭 症 、ALS、 失 语 症 
等 人 群 ， 一 般 人 群 也 可 以 从 研究 中 得 益 。” 使 用 手势 ，Smartstones 可 以 将 数据 从 石头 传递 到 石头 ， 从 石头 传递 成 文字 ， 甚 至 从 
石头 传递 成 声音 。 





图 3-9: 用 户 可 以 通过 和 触摸 石头 来 传递 想法 和 情感 (https://www.linkedin.com/pulse/augmenting-life-unlocking-minds-andreas- 


forsland/) 


Obrist 和 Forsland 的 工作 都 指出 ， 技 术 将 会 使 得 更 隐形 化 的 数字 通信 模式 成 为 可 能 。 在 新 一 代 的 互动 模式 中 ， 我 们 的 手 将 用 
于 传递 语言 和 情感 。 随 着 我 们 的 日 常生 活 越 来 越 数字 化 ， 这 些 项 目 能 够 帮助 我 们 重新 获得 (甚至 重新 定义 ) 人 的 触觉 ， 在 虚拟 时 
代 ， 我 们 将 赋予 触 党 更 多 创造 性 的 意义 ， 甚 至 设计 一 种 全 新 的 理解 世界 的 方式 。 


[1] http://www.smartstones.co/。 


新 世界 和 新 感 兄 


不 仅仅 是 只 用 指 尖 触摸 物体 (不管 它们 是 真实 的 还 是 虚拟 的 ) ， 如 果 你 的 整个 身体 都 沉浸 在 故事 中 来 感受 各 种 角色 ， 又 将 会 
怎样 呢 ? Victor 在 《A Brief Rant on the Future of Interaction Design》 [ol 中 写 道 : “我 们 拥有 着 整个 身体 的 主 控 权 ， 在 未 来 
的 交互 中 ， 真 的 可 以 满足 于 仅仅 一 根 手指 的 体验 吗 ? ” ( 见 图 3-10) 。 











图 3-10: 互动 设计 的 未 来 想象 (http://worrydream.com/ABriefRantOnTheFutureOfInteractionDesign/) 


麻 省 理工 学 院 媒 体 实验 室 的 研究 人 员 Felix Heibeck、Alexis Hope、Julie Legault 和 Sophia Brueckner 创 造 了 一 本 可 以 用 
整个 身体 穿戴 和 体验 的 书 一 一 《感官 小 说 》。 书 的 原型 包括 一 个 连接 到 电子 书 的 触觉 背心 ， 允 许 读者 通过 生理 反应 来 感受 主角 
的 情绪 。 可 穿戴 设备 可 以 改变 声音 、 照 明 、 温 度 ， 可 以 使 读者 胸 闵 ， 甚 至 改变 读者 的 心率 ， 以 反映 书 中 主要 人 物 的 体验 。 


“ 享 利 ， 今天 晚上 去 看 《Feelies》 吗 ? ”助理 预言 员 问 道 ，“ 我 听 说 阿 罕 布 拉 新 上 映 的 表演 最 棒 。 在 能 皮 地 筷 上 的 爱情 场面 
被 人 们 交口 称赞 。 能 皮 上 的 每 一 根 毛 发 都 被 重 现 了 。 那 是 最 惊人 的 触觉 效果 。” 


一 一 Aldous Huxley 


《感官 小 说 》 的 原型 与 Aldous Huxley 的 科幻 小 说 《勇敢 的 新 世界 》 (1932) 相 呼 应 ,描绘 了 一 种 娱乐 体验 ， 使 观众 能 
够 “感受 ”虚构 的 叙述 。《 感 官 小 说 》 是 一 部 将 感觉 与 视 党 和 声音 相 结合 的 电影 。 电 影 观 众 将 抓 住 椅子 扶手 上 的 金属 球 ， 从 而 感 
受到 与 屏幕 上 人 物 的 动作 相对 应 的 触觉 。 


回 到 Obrist 的 想法 ， 我 们 可 以 在 电影 院 中 使 用 触觉 技术 来 创建 更 加 身 临 其 境 的 观看 体验 。 我 可 以 为 她 的 研究 想到 几 种 应 用 场 
景 ， 不 仅仅 是 像 在 《感官 小 说》 中 一 样 ， 用 于 反映 电影 中 人 物 的 动作 和 环境 ， 使 人 感 党 到 能 皮 地 筷 毛 昔 昔 的 触感 (如 上 文 引 
用 ) ; 根据 Obrist 的 研究 ， 演 员 们 的 情绪 状态 可 以 通过 短暂 而 尖锐 的 空气 在 观众 的 掌心 中 爆发 ， 让 观众 体验 到 如 同 电影 中 人 物 一 
样 的 兴奋 感 。 在 没有 视觉 效果 伴随 的 情况 下 ， 我 们 依旧 可 以 拥有 类 似 的 体验 一 这 一 发 现 可 以 应 用 于 音频 或 广播 剧 。 这 使 
得 “情感 触 党 ” (我 想到 的 一 个 用 来 描述 这 个 例子 的 术语 ， 尽 管 它 还 不 存在 ) 成 为 可 能 ， 我 们 通过 这 种 全 新 的 方式 来 与 角色 建立 
链接 ， 与 他 们 共 情 。 看 电影 不 再 是 仅仅 通过 视 党 和 听觉 ， 我 们 可 以 通过 触觉 来 体验 到 电影 中 人 物 感受 到 的 一 切 。 


Obrist、Forsland 和 麻 省 理工 学 院 研究 人 员 的 工作 为 我 们 展现 了 一 种 与 故事 中 的 人 物 形成 更 深层 次 联系 的 方式 ， 这 种 非 语言 
的 方式 可 以 为 我 们 传递 相应 的 情绪 、 心 境 、 信 息 甚至 故事 。 与 人 体 的 感觉 相 结合 ， 为 我 们 提供 了 一 种 新 的 方式 来 认识 和 理解 。 但 
是 ， 我 们 要 如 何 用 这 种 感觉 信息 的 方式 来 解释 其 他 类 型 的 数据 呢 ? 
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神经 科学 家 David Eagleman 正 在 努力 以 一 种 新 的 直观 的 方式 来 拓展 人 类 感知 数据 的 能 
息 的 感受 。 





Eagleman 及 其 在 斯 坦 福 大 学 医学 院 感知 与 动作 实验 室 的 团队 创建 了 VEST 洁 | (多 功能 超 感觉 传感器 ) ， 这 是 一 款 可 穿戴 式 
设备 ， 能 够 让 区 哑 人 通过 一 系列 震动 感受 到 语言 ， 如 图 3-11 所 示 。 智 能 手机 或 平板 电脑 基于 相应 的 应 用 和 麦克 风采 集 声音 ， 然 
后 通过 蓝牙 将 这 些 声音 发 送 给 背心 。 背 心 将 声音 转换 成 佩戴 者 身体 背部 感觉 到 的 对 应 振动 。 
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图 3-11: VEST 设 计 示 意图 (http://www.eagleman.com/research/sensory-substitution) 
Eagleman 的 研究 为 我 们 解决 了 一 个 重要 问题 ， 人 们 的 感受 是 不 能 被 解释 为 盲文 的 。 正 如 他 在 2015 年 TED 的 演讲 《Can we 
create new senses for humans》[" 中 所 说 : 
佩戴 背心 时 感觉 到 的 振动 模式 代表 声音 的 频率 。 人 们 感觉 到 的 东西 并 不 是 一 个 字母 或 一 个 单词 的 代码 一 一 与 莫 尔 斯 电码 不 
同 ， 实 际 上 传输 给 人 们 的 是 声音 的 表达 。 
Eagleman 认 为 VEST 与 可 穿戴 设备 (例如 Apple Watch) 是 截然 不 同 的 。 在 可 穿戴 设备 的 设计 中 ， 常 常 分 配 不 同 的 振动 模 
式 来 表示 不 同 的 事物 (例如 ， 一 组 振动 模式 代表 有 新 的 微 博 ， 另 一 组 振动 模式 代表 有 新 的 短 消息 ) 。 


取而代之 的 是 ，VEST 使 用 了 “感官 替代 ”技术 一 一 信息 通过 不 同 寻 常 的 感觉 通道 进入 大 脑 ， 然 后 大 脑 自然 知道 该 怎么 做 。 
类 似 于 我 们 在 第 2 章 中 讨论 的 EyeMusic 和 vOICe 这 类 产品 ， 大 脑 可 以 通过 特定 的 训练 “看 到 ” 。 在 这 些 情况 下 ， 信 和 号 不 是 
穿 过 视觉 皮层 ， 而 是 通过 听觉 皮层 进入 大 脑 ， 并 传输 到 大 脑 的 正确 位 置 。VEST 采 用 类 似 的 原理 ， 对 合 呈 人 进行 感官 替代 。 


Eagleman 和 他 的 团队 一 直 同 父 呈 参与 者 们 一 起 对 VEST 进 行 测试 。 在 他 的 TED 演 讲 中 ，Eagleman 展 示 了 Jonathan (一 名 


37 岁 的 天 生 人 三 人 ) 如 何 将 复杂 的 振动 模式 翻译 成 对 所 说 内 容 的 理解 ， 这 仪 仪 是 在 使 用 该 设备 训练 五 天 后 。 


Eagleman 及 其 团队 对 VEST 的 下 一 步 研发 重点 是 在 听觉 信息 之 外 包含 其 他 数据 流 ， 如 股票 市 场 数据 或 天 气 数据 等 。 例 如 ， 
如 果 股 票 市 场 的 数据 被 转换 成 喻 喻 声 ， 穿 着 VEST 的 人 们 可 能 开始 觉察 到 他 们 对 某 些 经 济 趋势 有 了 直觉 。 


“我 们 不 必 再 等 待 大 自然 母亲 根据 她 的 时 间 表 来 派发 感觉 的 天 分 。 ”Eagleman 说 ，“ 相 反 ， 像 许多 优秀 的 父母 一 样 ， 她 给 
了 我 们 需要 的 工具 ， 我 们 应 该 走出 去 ， 找 到 属于 自己 的 轨迹 。 


所 以 ， 现 在 的 问题 是 : 我 们 如 何 用 新 的 感觉 (譬如 触觉 ) 来 增强 我 们 对 世界 的 感知 ? 


在 第 2 章 中 ， 我 们 研究 了 增强 现实 技术 如 何 通 过 新 的 方式 来 让 我 们 感知 周围 的 环境 。 在 这 里 ， 借 助 于 Eagleman 对 未 来 的 展 
望 ， 我 们 可 以 更 进一步 ， 不 仅 刷新 视觉 上 的 体验 ， 还 能 够 刷新 整体 的 感受 ; 结合 触觉 体验 ， 我 们 将 以 前 所 未 有 的 方式 参与 和 了 解 
周围 的 世界 。 基 于 可 变形 屏幕 的 技术 发 展 ， 我 们 能 够 通过 掌心 中 传 来 的 振动 来 感应 到 另 一 个 人 ; 利用 像 Eagleman 设 计 的 这 类 触 
党 背心 ， 我 们 可 以 对 世界 拥有 全 新 的 感性 理解 。 另 一 件 可 以 确定 的 事情 是 : 增强 未 来 不 会 再 给 我 们 “玻璃 界面 ”的 体验 ， 一 切 都 
将 是 发 自 内 心 的 。 作 为 人 类 ， 我 们 居住 在 一 个 三 维 的 世界 ， 用 整个 身体 与 周围 环境 进行 交 豆 ， 但 现 有 的 技术 往往 把 我 们 限制 在 二 
维 平面 上 。 将 来 ， 更 强大 的 AR 技术 将 使 我 们 拥有 身 临 其 境 的 全 方位 体验 ， 通 过 人 类 和 能力 和 数字 技术 的 有 机 结合 ， 增 强 现实 技术 
甚至 能 够 进一步 扩展 和 增强 我 们 的 感官 。 


[1] http://www.eagleman.com/reseatrch/sensory-substitutiono 
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第 4 章 ”音频 和 听 党 世界 


声音 能 够 让 我 们 融入 周围 环境 ， 甚 至 可 以 让 我 们 觉得 自己 身 处 另 一 个 地 方 。 通 过 听觉 ， 我 们 可 以 拥有 “心灵 剧场 ”， 用 自己 
的 想象 力 构建 视觉 元 素 ， 甚 至 时 间 旅 行 。 很 多 场合 中 ， 我 们 已 经 对 环境 的 声音 进行 了 增强 处 理 : 忙碌 的 火车 上 ， 一 位 男士 只 听 得 
到 自己 降 噪 耳 机 的 喻 喻 声 ， 在 飞机 起 飞 和 着 陆 期 间 ， 一 位 女士 只 从 耳机 中 听 到 她 最 喜欢 的 摇滚 音乐 。 增 强 音频 的 未 来 不 仅 将 帮助 
我 们 屏蔽 生命 中 的 “噪音 ”， 还 能 够 让 我 们 拥有 更 有 意义 和 影响 力 的 声音 体验 。 


“ 当 人 们 谈论 增强 现实 时 ， 他 们 往往 认为 它 是 一 种 视觉 效果 ， 类 似 于 将 虚拟 形象 合成 在 镜头 拍摄 到 的 图 像 之 上 。 确 实 ， 一 直 
以 来 我 们 都 是 在 视觉 上 体验 增强 现实 ， 很 少 人 认为 声音 也 可 以 被 增强 ，”Leigh Alexander 在 《Dimensions Augments Reality 
Purely Through Sound》[ 中 提 到 。Michael Breidenbruecker (Last.fm 的 联合 创始 人 和 Reality Jockey Ltd 的 创始 人 ) 也 认 
为 ， 虽 然 到 今天 为 止 ， 我 们 仍然 可 以 将 AR 只 理解 为 视觉 效果 ， 但 音频 可 以 为 我 们 创造 出 高 度 副 真 县 灵活 多 变 的 体验 ， 而 不 基于 
视觉 上 的 增强 。 


声音 可 以 与 增强 现实 中 的 其 他 感官 体验 进行 整合 ， 也 可 以 独立 存在 。 它 可 以 帮助 你 导航 ， 帮 助 你 接收 信息 ， 让 你 身 临 其 境地 
沉浸 在 体验 当中 ， 通 过 新 的 交互 方式 激发 你 的 想象 力 ， 又 或 者 自 定义 周围 的 环境 。 本 章 探 讨 了 这 些 领 域 中 的 各 种 可 能 ， 并 讨论 
了 “可 听 式 ”产品 设计 (能 够 挂 在 耳 朱 上 的 小 型 无 线装 置 ) 一 这 是 一 个 在 日 渐 增 长 的 可 穿戴 技术 市 场 中 越 来 越 受 欢迎 的 新 类 
别 。 除 了 从 耳 朱 上 收集 健康 监测 信息 和 健身 活动 的 生理 数据 外 ， 听 众 还 可 以 进行 新 型 的 互动 和 交流 ， 就 像 是 拥有 一 个 能 够 听取 语 
音 命令 并 作出 响应 的 智能 数字 助理 。 


如 影 随 形 的 增强 音频 漫步 


精确 导航 到 特定 的 位 置 、 信 息 丰 富 的 博物 馆 之 旅 或 醒 一 灌顶 的 冥想 等 都 是 以 声音 、 摄 录 或 直播 的 方式 带领 你 进入 一 场 旅途 的 
例子 。 音 频 可 以 帮助 点 亮 你 周围 的 环境 ， 伴 随 着 人 声 或 者 音乐 ， 引 导 着 你 的 注意 力 聚焦 在 前 方 的 道路 上 ， 又 或 者 帮 你 指出 那些 可 
能 不 明显 的 东西 。 它 可 以 打开 一 个 宝 盒 ， 其 中 盛 放 着 整个 世界 的 新 意识 和 新 体验 。 


自 1991 年 以 来 ， 全 球 知 名 的 加 拿 大 艺术 家 Janet Cardiff 一 直 在 创造 今 人 回味 无 穷 的 音频 漫步 。Cardiff 在 《Introduction to 
the Audio Walks》 四 中 讨论 了 她 的 作品 : 


音频 漫步 的 格式 与 音频 指南 的 格式 相似 。 发 给 听众 一 个 CD 播放 器 或 iPod， 告 知 听众 站 在 或 坐 在 特定 的 地 方 并 按 下 播放 按 
钮 。 听 众 便 可 以 通过 CD 听 到 引导 者 的 声音 指示 ， 如 “ 左 转 ”或 “ 走 过 这 个 长 廊 ”， 这 些 声 音 被 压制 在 音频 背 最 上 : 引导 者 的 脚 
步 声 、 交 通信 号 声 、 鸟 类 的 吼 嘻 声 和 预先 记录 的 杂音 一 一 这 些 声 音 都 存放 在 他 们 正在 听 到 的 同一 个 网 站 上 。 作 为 录音 的 重要 部 
分 ， 虚 拟 录 制 的 音 景 必须 和 真实 的 体验 相 吻 合 ， 以 创造 一 个 新 的 世界 作为 两 者 的 无 缝 组合。 引导 者 的 声音 给 出 指示 ， 同 时 也 引入 
了 各 种 想法 和 叙事 元 素 ， 这 些 元 素 激发 着 听众 完成 漫步 的 和 欲望。 





Cardiff 创 造 的 音频 混合 现实 驱动 了 这 个 领域 的 发 展 ， 人 们 开始 尝试 在 公共 空间 中 老 加 杀 密 的 场景 ， 身 在 其 中 的 听众 可 以 拥 
有 一 份 私密 感 。 她 在 2012 年 发 表 于 《纽约 时 报 》 的 一 篇 文章 B 中 提 到 ， 你 可 以 将 她 的 漫步 作品 视 为 一 种 “时 间 旅 行 ”的 形式 。 
对 于 使 用 先进 的 技术 来 增强 人 们 的 音频 体验 ，Cardiff 的 工作 成 为 了 很 好 的 先驱 。 


Detour[ 尘 是 一 家 位 于 旧金山 的 创业 公司 ， 提 供 一 系列 位 置 感知 增强 音频 漫步 的 体验 ， 如 图 4-1 所 示 。 作 为 Detour 的 创始 人 
兼 首席 执行 官 ，Andrew Mason 认 为 Cardiff 等 人 提供 了 巨大 的 灵感 。 他 说 : “ 当 我 开始 探索 这 个 想法 时 ， 我 做 的 第 一 件 事情 就 


是 在 世界 各 地 进行 旅行 ， 以 亲身 采样 不 同 的 基于 位 置 的 音频 体验 。” 这 些 体验 在 《Cardiff 步 行 穿 过 中 央 公园 》 济 、《 布 鲁 克 林 
的 Hasidic Soundwalk》 顺 以 及 Fran Panetta 制 作 的 《随意 散步 在 伦敦 》 演 等 文中 均 有 提 到 。“ 这 些 经 历 告诉 了 我 ， 位 置 感知 
增强 音频 这 一 技术 极 有 潜力 ; 我 们 可 以 创造 一 种 全 方位 的 感知 体验 ， 仿 佛 是 将 人 传送 到 另 一 个 世界 一 样 ， 比 通过 任何 其 他 媒介 所 
体验 到 的 都 要 接近 真实 。” Mason 说道。 
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Maybe youve seen Milk, that Sean Penn movie about Harvey 
Milk and the gay rights movement in the Castro? Cleve Jones 
和 is the adorable, curly-headed kid (played by Emile Hirsch) 
四 Butthe real Cleve Jones, in his 60s and still living in the 
Castro,is ahundred times more compelling. 





图 4-1: Detout 带 你 游览 旧金山 著名 的 卡 斯 特 罗 街道 (https://ikinja-img.com/ gawket- 


media/image/upload/tvkagpy3syjqhjykhmwz.jpg) 


戴 上 你 的 个 人 耳机 ， 打 开 Detour 智 能 手机 应 用 程序 ， 当 地 向 导 的 声音 便 会 在 你 行走 时 自动 进行 引导 。Mason 认 为 Detour 与 
其 他 音频 浏览 应 用 程序 是 不 同 的， 在 Detour 中 你 可 以 随时 随地 使 用 手机 或 者 单 击 地 图 上 的 标记 播放 相应 的 内 容 。 在 《 麻 省 理工 
学 院 技术 评论 》 四 中 ，Mason 提 到 : “我 们 想 要 达成 的 目的 是 让 人 们 拥有 融入 那里 的 感觉 ， 好 像 那个 社区 中 的 人 和 你 在 一 起 一 
样 ， 而 技术 将 会 使 这 样 的 无 颖 融合 成 为 可 能 。” 借助 音频 这 种 交互 方式 ， 我 们 可 以 将 设备 收 起 来 放 进口 袋 中 ， 无 需 屏 幕 便 可 以 自 
由 地 了 解 身 处 的 环境 ， 全 身心 享受 私人 导游 带 来 的 冒险 体验 。 


Detour 与 普通 音频 导航 的 另 一 项 不 同 之 处 在 于 ， 这 项 技术 始终 关注 你 在 整个 体验 中 的 位 置 ; 它 可 以 动态 地 按照 你 的 步伐 、 
当时 的 时 间 甚 至 是 天 气 来 调整 旅途 的 进展 。 当 你 到 达 自 己 感 兴趣 的 场所 时 ， 无 需 按 “播放 ”按钮 ， 它 便 已 经 知道 你 在 那里 ， 并 可 
以 对 你 的 动作 做 出 反应 。 为 此 ，Detour 在 智能 手机 中 使 用 了 GPS、iBeacons 和 其 他 传感器 对 位 置 进行 精确 测量 。iBeacon 是 苹 
果 推 出 的 蓝牙 低 功 耗 (BLE) 无 线 技术 实现 ， 旨 在 为 iPhone 和 其 他 iOS 设 备 提供 基于 位 置 的 信息 和 服务 ， 它 可 以 用 于 对 可 能 不 可 
靠 的 GPS 信号 进行 补偿 。 信 标 (beacon) 本 身 是 可 以 提供 接近 传感器 服务 的 小 型 廉价 蓝牙 发 射 器 。iOS 应 用 程序 会 侦 听 这 些 信 
标 传输 的 信号 ， 并 在 你 的 手机 或 平板 电脑 进入 服务 范围 时 进行 相应 的 响应 。 当 您 到 达 兴 趣 点 时 ，iBeacons 与 Detour 应 用 程序 合 
作 ， 自 动 触发 特定 的 用 户 故事 。 除 了 iBeacons 之 外 ，Detour 还 使 用 了 手机 的 加 速度 计 来 检测 用 户 的 移动 和 步伐 ， 并 用 磁力 计 感 
知 面 对 的 方向 。 


[1] https://www.detout.com/。 
[2] http:/ /www.cardiffmiller.com/artworks/walks/longhait.html。 


[3] http://www.soundwalk.com/#/TOURS/willamsburewomen/。 


[4] http://www.hackneyheat.com/。 


增强 音频 市 来 共 情 和 理解 


Detour 的 目标 是 “帮助 人 们 很 快 理解 那些 常常 覆盖 着 不 可 穿 透 的 隔膜 的 地 方 ， 真 正 感受 到 它 的 一 切 ”，Luke Whelan 在 
《This New App Will Change the Way You See Your Neighborhood》 训 中 提 到 。 在 The Tenderloin Detour 中 ，Detour 
可 以 带 你 亲密 的 散步 ， 就 像 完全 融入 了 Tenderloin 区 域 (旧金山 最 容易 被 误解 且 变 化 最 快速 的 社区 之 一 ) 一 样 ， 让 你 看 到 它 被 
大 部 分 人 所 无 视 的 那 一 面 。 在 音频 漫步 时 ， 你 不 仅 可 以 聆听 在 那里 生活 和 工作 的 人 们 的 故事 ， 还 可 以 走 进 他 们 睡觉 的 教堂 ， 或 者 
住 在 他 们 所 居住 的 单身 酒店 。Detour 的 制 片 人 Marianne McCune 说 : “我 认为 ， 经 历 别 人 已 经 走 过 的 路 ， 可 以 让 人 们 更 多 地 
了 解 甚至 杀身 体验 到 别人 的 感受 。” 











McCune 担 任 了 15 年 无 线 电台 的 记者 。 她 在 WNYC 纽 约 公 共 广 播 电 台 上 发 起 了 一 个 青年 广播 节目 “Radio Rookies”， 让 在 
贫困 社区 长 大 的 青少年 们 讲述 自己 的 故事 和 他 们 的 世界 。McCune 描 述 了 该 计划 目标 的 一 部 分 为 “让 他 们 讲述 自己 认为 对 听众 有 
重要 意义 的 故事 (虽然 这 些 听众 与 他 们 几乎 没有 共同 点 ) ， 可 以 便于 WNYC 的 普遍 受过 良好 教育 的 听众 能 够 更 好 地 理解 他 们 的 
世界 ”。 她 推荐 了 一 位 十 几 岁 的 电台 新 秀 Shirley“Star”Diaz， 并 定义 了 一 些 常常 会 让 人 们 难以 回答 的 话题 ，“ 但 是 当 你 认真 
倾听 的 时 候 ， 会 党 得 自己 就 在 她 的 生活 环境 中 生存 ， 已 经 足够 了 解 她 的 观点 ，”McCune 说 ，“ 我 相信 ， 她 正在 用 自己 的 方式 引 
导 听 众 穿 过 她 的 世界 ， 让 人 们 透 过 她 的 眼睛 看 到 一 些 东 西 。 所 以 ， 听 众 们 和 她 是 在 一 起 的 ， 当 他 们 能 够 理解 她 的 生活 的 时 候 ， 便 
是 他 们 能 够 理解 她 的 时 候 。 


McCune 表 示 : “我 认为 ，Detour 有 可 能 让 我 们 更 深层 地 从 其 他 人 的 视角 看 待 这 个 世界 : 它 允 许 你 真正 走 进 其 他 人 的 生 

活 。” 她 拿 出 来 自体 验 过 Tenderloin 区 域 之 旅 的 人 的 一 封 信 。 “我 的 几 个 同事 和 我 对 此 很 感 兴趣 ， 因 为 我 们 的 办 公 室 正好 楷 令 
Tenderloin 区 域 ， 但 是 显然 我 们 对 这 个 社区 没有 做 太 多 探索 ，” 信 中 写 道 ，“ 当 我 们 走 进 圣 博 尼 法 赛 教堂 时 ， 令 人 最 有 感触 的 
时 刻 降临 了 ， 我 们 看 到 所 有 的 无 家 可 归 者 都 睡 在 了 教堂 长 椅 上 。 我 们 捐献 了 一 些 咳嗽 糖浆 ， 并 与 一 名 志愿 者 进行 了 交谈 一 一 这 
个 志愿 者 自己 便 是 一 名 竣 合 的 瘾 君子 。” 音 频 漫步 带 来 了 一 场 别 无 可 能 发 生 的 对 话 ， 给 听众 创造 了 一 种 革命 般 的 效果 。 合 上 这 封 
信之 后 ， 像 这 样 一 个 小 小 的 捐赠 ， 一 场 和 志愿 者 的 交谈 ， 这 么 简单 的 事情 就 可 以 完全 改变 你 对 整个 社区 的 看 法 ， 这 是 令 人 惊讶 的 
体验 。McCune 评 论 道 ，“ 我 认为 ， 不 管 是 音频 ， 还 是 漫步 ， 都 允许 我 们 走 进 其 他 人 的 生活 ， 推 动 我 们 穿 过 通常 不 会 被 越过 的 界 
限 。 





增强 音频 具有 打破 隔膜 的 力量 ， 可 以 帮助 促进 共 情 和 理解 。 它 可 以 鼓励 你 不 仅 通过 别人 的 观点 来 看 世界 ， 并 且 可 以 物理 上 在 
现场 体验 它 。 它 可 以 激励 你 采取 行动 ， 改 变 我 们 在 现实 世界 中 的 生活 ， 甚 至 为 我 们 展开 一 次 与 通常 不 会 搭理 的 人 的 对 话 。 


虚拟 现实 中 也 正在 探索 使 用 技术 帮助 同 理 心 发 展 的 途径 。《 锡 德 拉 湾 上 的 云 》 (2014) 是 联合 国 组 织 和 电影 导演 Chris Milk 
合作 的 一 部 VR 电影 ， 讲 述 了 一 名 12 岁 的 女孩 ， 名 叫 Sidra， 住 在 约旦 的 叙利亚 难民 营 的 故事 。 这 部 电影 于 2015 年 1 月 在 达 沃 斯 举 
行 的 世界 经 济 论坛 上 放映 ， 对 举手投足 之 间 影 响 数 百 万 人 生活 的 领导 人 的 决策 产生 了 一 系列 影响 。 据 Milk 指 出 ， 除 了 这 种 方式 
外 ， 这 些 人 可 能 并 不 会 有 机 会 体验 在 约旦 难民 营 的 帐篷 里 的 生活 。 


当 带 上 VR 设备 观看 《 锡 德 拉 湾 上 的 云 》 时 ， 你 正在 环顾 Sidra 的 世界 一 一 这 是 一 种 全 方位 的 、360 度 的 体验 。 你 并 不 是 在 通 
过 电视 屏幕 看 她 ， 你 正 坐 在 她 的 房间 里 ， 听 着 她 的 声音 ， 仿 佛 你 就 在 那里 ， 她 的 世界 也 成 为 了 你 的 世界 。 当 你 低下 头 时 ， 能 够 看 
到 自己 正 坐 在 和 她 同一 片 土地 上 。 “就 因为 这 样 ，”Mik 说 ，“ 你 更 深入 地 感受 到 了 她 的 性 格 和 她 的 体验 ， 与 她 进入 了 更 深层 


次 的 共 情 。”[9] 


尽管 虚拟 现实 技术 特别 适合 让 人 们 体验 到 那些 难以 物理 上 亲身 进入 的 环境 ， 但 增强 现实 技术 可 以 通过 Detour 所 展示 的 方式 


进一步 促进 共 情 ， 尽 最 大 可 能 鼓励 你 在 现实 世界 中 与 实际 环境 进行 交互 。Mason 与 Detour 的 目标 之 一 是 让 人 们 走出 去 ， 探 索 周 
围 的 物理 世界 。 “这 么 多 公司 似乎 都 为 人 类 设想 了 一 个 共同 的 游戏 结局 : 你 坐 在 客厅 的 沙砾 上 ， 吃 完 刚 刚 送 到 的 外 卖 ， 收 起 从 洗 
衣 房 里 面 拿 出 来 的 衣服 ， 再 和 虚拟 现实 Oculus Rift 中 的 朋友 聊 聊 天 。”Mason 说 ，“ 也 许 我 是 一 个 守旧 的 卢 德 分 子 ， 但 我 有 点 
喜欢 真实 生活 中 那些 棱角 。 我 想 让 Detour 成 为 一 个 能 够 帮助 人 们 走出 去 围 着 筹 火 跳舞 的 公司 。”[/] 


大 部 分 旅游 行程 都 像 是 一 篇 新 闻 稿 ， 因 为 它们 讲述 了 有 关 历 史 、 人 物 和 环境 的 真实 故事 。Detour 也 利用 它 的 增强 音频 漫步 
为 我 们 讲述 了 一 个 故事 ， 或 者 说 一 个 难题 : 旧金山 的 垃圾 战争 。 这 座 城市 有 一 个 称 为 “ 零 废弃 ′[ 潮 的 计划 ， 目 的 是 在 2020 年 之 
前 不 向 垃圾 填 埋 场 或 焚化 炉 送 去 任何 东西 ， 这 意味 着 重新 利用 或 回收 旧金山 居民 扔 掉 的 每 一 样 东西 。Detour 不 是 简单 向 你 展示 
垃圾 填 埋 场 或 垃圾 堆 这 些 场 所 ， 而 是 通过 引导 你 走 过 日 常生 活 中 的 每 一 个 旧金山 的 角落 ， 让 你 思考 我 们 每 天 产生 了 多 少 垃圾 。 
Detour 改 变 了 我 们 通过 音频 感受 世界 的 方式 ， 并 有 希望 在 行程 结束 后 激发 长 期 可 持续 的 转型 。 


[1] http://www.sfenvironment.org/zero-wasteo 


为 盲人 在 城市 中 导航 


像 Detour 和 Cardiff 这 样 的 增强 音频 漫步 技术 可 以 让 你 深入 了 解 所 处 的 环境 ， 甚 至 可 能 发 现 另 一 个 前 所 未 有 的 感官 世界 。 但 
是 ， 那 些 可 能 需要 依赖 这 种 技术 来 帮助 他 们 日 常生 活 的 人 呢 ? 微软 的 “城市 解锁 ”是 为 视力 不 佳 的 人 们 开发 的 一 种 新 的 声音 技 
术 ， 可 帮助 他 们 在 城市 空间 中 自由 行动 。 





“这 个 项 目的 灵感 来 自 于 我 女儿 的 出 生 ，” 微 软 的 Amos Miller 名 视力 障碍 者 说 。 “我 想 要 带 她 出 去 玩 一 天 ， 又 或 者 
带 她 去 看 电影 ; 我 不 停 地 思考 ， 自 己 应 该 怎么 做 ， 才 能 消除 做 那些 事情 时 的 犹豫 。” 他 在 《三 维 声 景 展示 》[g 中 详细 描述 了 导航 
系统 是 如 何 “ 通 过 声音 来 描述 世界 ， 类 似 于 灯塔 通过 光 来 为 我 们 引路 ”的 ， 以 及 如 何 消除 对 新 旅程 的 恐 惯 。 


佩戴 着 连接 到 智能 手机 的 骨 传 导 耳 机 ， 你 会 听 到 指导 你 并 为 你 描述 周围 环境 的 声音 。 骨 传导 设备 位 于 额 明 上 方 ， 可 以 通过 振 
动 将 声音 从 额 骨 传 播 到 内 耳 。 这 样 ， 用 户 依 旧 会 听 到 周围 的 噪音 ， 而 不 是 被 耳机 屏 菩 了 周围 的 环境 。 位 于 耳机 背面 的 小 盒子 包含 
加 速度 计 、 陛 螺 仪 、 指 南 针 和 GPS 芯片 ， 以 跟踪 你 的 位 置 和 一 举 一 动 。 该 系统 连接 到 智能 手机 ， 通 过 GPSs 和 微软 必 应 地 图 的 位 置 
和 导航 数据 提供 导航 服务 ， 类 似 于 Detour 等 放置 在 城市 地 区 的 蓝牙 信 标 网 络 也 将 提供 协助 。 


定向 音频 技术 可 用 于 创建 三 维 声 景 ， 使 得 导航 方向 和 地 标的 描述 听 起 来 像 是 从 它们 实际 所 在 的 地 方 传 来 的 。 如 果 你 的 兴趣 点 
在 前 方 10 米 处 偏 右 出， 那么 这 里 听 起 来 就 会 像 是 声音 传 来 的 地 方 。 除 了 转弯 时 相应 的 声音 指向 外 ， 导 航 过 程 中 还 集成 了 音频 提 
示 ， 例 如 发 出 跃 马 奔腾 的 声音 ， 以 表明 你 在 正确 的 道路 上 ; 或 者 当 你 正在 接近 路 边 时 ， 用 低沉 的 号 角 声 提出 警告 。 你 甚至 可 以 向 
系统 询问 有 关 本 地 景点 的 详细 信息 ， 璧 如 开放 时 间 等 ， 所 有 这 些 信 息 均 可 以 通过 语音 或 物理 遥控 器 从 必 应 数据 库 中 获取 。 微 软 另 
外 还 开发 了 一 个 名 为 “CityScribe” 的 综合 应 用 程序 ， 使 人 们 能 够 在 大 多 数 地 图 服务 不 能 监控 的 城市 中 标记 障碍 物 ， 例 如 公园 长 
椅 、 低 矮 的 突起 、 垃 圾 箱 或 街头 家 具 等 。 


Kate Riddle 是 微软 耳机 的 试用 者 之 一 。Riddle 的 视力 严重 受 损 ， 她 表示 这 项 技术 可 以 让 她 在 去 新 的 地 方 时 不 必 感 到 焦虑 或 
失控 ， 在 此 之 前 ， 她 必须 依靠 自己 的 记忆 ， 遵 循 相同 的 路 线 到 同一 个 地 方 。 “在 需要 去 不 熟悉 的 环境 时 ， 这 项 技术 极 大 地 减轻 了 
我 的 压力 。” 她 表示 四: “这 项 技术 非常 振奋 人 心 ， 它 让 旅途 变 得 令 人 享受 而 不 再 是 苦 差事 。 不 再 是 “走出 去 ， 因 为 你 不 得 
不 ， 现 在 是 “走出 去 ， 因 为 我 可 以 ”。” 对 于 像 Riddle 这 样 的 人 来 说， 这 项 技术 可 以 真正 地 改变 生活 。 


“解锁 城市 ”的 用 户 也 可 以 扩展 到 一 般 人 群 。 在 微软 的 一 段 视频 尘 中 演讲 者 指出 ， 我 们 很 容易 想象 ， 在 不 久 的 将 来 ， 人 们 
会 面 对 各 种 各 样 的 日 常 挑战 ， 在 其 中 每 个 人 都 用 得 到 这 项 技术 ， 比 如 试图 找到 离 某 个 大 型 购物 中 心 最 近 的 卫生 间 ， 或 在 不 会 任何 


当地 语言 的 情况 下 探索 一 个 新 的 城市 。 该 技术 不 仅 可 以 引导 你 前 往 感 兴趣 的 地 方 ， 还 可 以 通过 提供 在 物理 世界 中 更 深入 的 沉浸 体 
验 ， 让 人 们 更 好 更 自信 地 适应 环境 。 


[1] https://youtu.be/BEzncMLLOxE。 


为 每 个 人 定制 美好 


音频 是 “解锁 城市 ”整体 设计 的 一 个 方面 。 人 机 交互 (HCI) 先驱 和 微软 首席 研究 员 Bill Buxton 表 示 : 这 个 项 目 中 他 最 喜欢 
的 那 部 分 不 是 技术 ， 而 是 当 技 术 全 部 消失 的 时 候 ， 佩 戴 者 拥有 的 那 一 段 时 间 。 “最 好 的 技术 是 看 不 见 的 。 它 只 是 让 我 继续 我 的 生 
活 。”Buxton 说 [10]，“ 与 技术 的 互动 应 该 是 自然 而 然 的 ， 用 户 不 是 作为 设备 操作 员 存 在 ， 而 是 作为 人 类 而 存在 。 他 或 她 不 是 走 
在 街 上 操作 新 技术 ， 而 是 打算 去 上 班 、 呼 吸 新 鲜 空气 或 锻炼 身体 . 


对 于 Buxton 来 说 ， 伟 大 设计 的 关键 很 简单 : 如 果 能 够 了 解 高 度 特殊 化 用 户 的 需求 并 进行 设计 ， 那 么 最 终 的 结果 通常 会 让 每 
个 人 都 满意 。 他 解释 道 [10]: 


作为 一 位 互动 设计 师 ， 对 我 而 言 ， 我 的 关注 重点 总 是 人 类 的 体验 质量 。 我 很 早 就 发 现 ， 如 果 你 想 了 解 一 些 东 西 ， 最 好 的 方式 
是 尝试 在 极端 的 情况 下 体会 那些 边缘 案例 。 在 几乎 所 有 的 时 候 ， 你 在 极端 案例 下 学 到 的 东西 也 适用 于 一 般 人 群 。 


在 参与 Buxton 的 工作 后 ， 我 很 幸运 能 够 在 2013 年 在 多 伦 多 与 Buxton 合 作 开 展 了 一 个 名 为 《大 规模 变革 : 全 球 设计 的 未 来 》 
的 项 目 。Buxton 是 Bruce Mau 设 计 公司 的 首席 科学 家 ， 在 人 机 交互 方面 与 我 们 分 享 了 许多 价值 连城 的 见解 ， 甚 至 为 项 目的 展览 
贡献 了 他 个 人 的 收藏 一 跨越 30 年 的 交互 设备 六 。 我 们 请 他 详细 说 明 在 “极端 情况 ”下 设计 的 想法 11]， 以 使 每 个 人 都 受益 。 
他 回答 说 : “城市 解锁 ”是 把 声学 增强 现实 的 一 般 情 况 向 前 推演 的 一 个 例子 。” 同 时 ，Buxton 引 用 了 他 最 喜欢 的 参考 文献 
一 一 1987 年 Frank Bowe 发 表 的 《Making Computers Accessible to Disabled People》 [2 


Bowe 写 道 : “如 果 不 同 用 户 的 选择 都 能 够 被 纳入 所 有 计算 机 的 设计 ， 数 百 万 残疾 人 的 生活 体验 可 能 会 大 大 增强 。” 建 筑 设 
计 是 大 家 最 熟悉 的 可 访问 概念 ， 例 如 自动 门 、 入 口 设计 与 外 部 景观 美化 。Bowe 说 : “这 些 设计 对 我 们 来 说 似乎 是 自然 的 一 一 尽 
管 它们 看 起 来 好 像 是 专 为 残疾 人 而 设计 的 。” 他 举 了 轮椅 专用 斜坡 的 例子 ， 观 察 了 使 用 者 的 情况 ， 有 十 个 健康 人 利用 了 它 : 有 婴 
儿 车 的 父母 、 骑 自行 车 的 人 、 家 具 搬 运 车 和 发 现 走 上 坡 比 让 楼 梯 更 容易 的 行人 。 


Bowe 指 出 ， 行 业已 经 开始 意识 到 ， 为 满足 残疾 人 消费 者 的 特殊 需求 而 开发 的 技术 对 每 个 人 都 是 实用 的 。 他 强调 ，1987 年 为 
了 识别 和 理解 人 类 的 演讲 而 开发 的 电脑 ， 同 时 也 使 不 愿意 使 用 键盘 的 高 层 领 导 或 者 双手 被 其 他 工作 所 占用 的 人 员 (如 工厂 装配 线 
上 的 质量 检查 员 ) 受益 。 我 问 Boxton， 自 三 十 年 前 写 了 这 篇 文章 以 来 ， 他 是 否认 为 新 技术 的 设计 需求 已 经 发 生 了 改变 。 他 的 回 
应 是 : “通过 设计 ， 借 助 多 种 新 技术 来 应 对 复杂 的 解决 方案 可 以 降低 使 用 难度 ， 反 之 亦 然 。” 在 设计 增强 现实 技术 体验 的 未 来 
时 ， 需 要 考虑 的 重要 一 点 是 低 使 用 门槛 ， 从 而 能 够 帮助 尽 可 能 多 的 人 。 


[1] http://chi2011.0rg/progrm/buxtoncollection.pdf。 
二 = 二 | 夕 ( 厅 所 
声音 将 你 环绕 


在 虚拟 现实 中 ， 技 术 人 员 正 在 使 用 声音 来 提高 虚拟 环境 的 可 信 度 ， 使 用 户 感 党 真实 。 我 们 将 会 在 增强 现实 中 体验 到 更 多 的 声 
音 一 一 从 声音 效果 到 语音 互动 一 一 以 提升 体验 。Cardiff、Detour 和 “城市 解锁 ”这 些 体验 均 融 合 了 你 身边 现实 的 物理 环境 与 虚 


拟 的 世界 ， 由 引导 你 的 声音 带领 你 路 上 旅程 。 除 了 导航 ， 声 音 也 有 助 于 增强 现实 中 的 故事 叙述 和 娱乐 体验 。 


杜 比 的 VR 和 AR 总 监 Joel Susal 说 BI: “虚拟 现实 中 的 音频 不 是 奢侈 品 ， 而 是 必需 唱 。” 他 指出 ， 在 物理 世界 中 现实 并 没有 
一 帧 一 帧 的 画面 展现 ， 而 是 让 我 们 能 够 全 方位 地 体会 周边 环境 。 在 VR 中 ， 我 们 需要 同样 的 信号 刺激 。 不 像 在 传统 的 电影 中 ， 我 
们 的 注意 力 可 以 被 集中 在 屏幕 上 的 某 些 点 上 ， 三 维 环境 需要 的 不 仅仅 是 视觉 刺 激 。 “你 的 耳 打 会 引导 你 的 大 脑 ，”Susal 说 : 这 
就 是 为 什么 声音 定向 是 如 此 重要 。 声 音 使 得 人 们 可 以 更 好 地 沉浸 在 虚拟 现实 中 ， 让 电影 制 片 人 能 够 真正 带领 你 去 体验 故事 。 

和 “城市 解锁 ”使 用 空间 音频 提示 来 引导 佩戴 者 一 样 ， 这 种 模拟 来 自 不 同位 置 声音 的 技术 可 以 应 用 于 VR 和 AR 来 产生 相同 的 效 
果 ， 以 帮助 吸引 用 户 在 故事 叙述 或 游戏 体验 中 的 注意 力 。 


佩戴 着 类 似 微软 的 HoloLens (配备 两 个 靠近 耳 洒 的 小 扬声器 ) 的 AR 眼镜 时 ， 当 你 的 头 部 和 身体 远离 声音 发 出 的 地 方 ， 声 音 
将 会 相应 地 进行 调整 ; 若 你 转身 背 向 声 源 ， 声 音 将 从 后 面 传 来 ， 如 图 4-2 所 示 。 类 似 地 ， 当 你 靠近 虚拟 发 声 对 象 时 ， 声 音 会 变 得 
更 大 。 这 有 助 于 使 虚拟 对 象 看 起 来 更 真实 。 例 如 ， 在 玩 一 个 增强 现实 游戏 的 时 候 ， 你 将 能 够 听 到 一 条 虚拟 的 龙 正 在 朝 着 你 的 方向 
前 进 ， 它 的 史 哮 声 传 到 了 你 的 左 耳 中 。 





图 4-2: 微软 HoloLens 拥 有 一 系列 传感器 ， 能 够 实时 监测 你 的 周围 环境 (https://www.microsoft.com/en-us/hololens/hardwate) 


HyperSound 绽 的 音频 技术 提供 了 创造 沉浸 式 效果 的 另 一 种 方式 。 像 手电 简 发 出 的 光束 一 样 ，Hypersound 使 用 超声 波 在 罕 
束 中 引导 声音 ， 并 将 其 限制 在 特定 位 置 ， 以 创建 精确 的 音频 区 域 。 在 音频 区 域 之 外 的 听众 听 不 见 任何 声音 ， 而 对 于 频道 内 的 听众 
来 阅 ， 效 果 类 似 于 用 耳机 听 音 乐 。 现 在 ， 我 们 可 以 在 公共 场所 创建 私人 听觉 区 域 ， 并 将 声 束 投射 到 目标 位 置 。 例 如 ， 麦 当 劳 正在 
一 个 试点 计划 中 尝试 着 使 用 HyperSound， 将 电视 声音 引导 到 餐馆 的 特定 桌子 ， 让 用 户 在 不 打扰 他 人 的 情况 下 观看 节目 。 这 项 技 
术 的 使 用 范围 包括 零售 商品 展示 潮 、 博 物 馆 建设 和 游戏 体验 党 


BoomRoomI14 是 奥 胡 斯 大 学 计算 机 科学 系 副 教授 J6Tg Miller 创建 的 一 个 原型 ， 它 提供 了 一 种 在 空中 直接 与 虚拟 声 源 交 


互 的 新 方式 。Muller 和 他 的 团队 创建 了 一 个 直径 三 米 的 小 房间 ， 其 中 窗帘 后 隐藏 着 由 56 个 扬声器 组 成 的 一 个 环 。 利 用 计算 机 视 
党 和 手势 跟踪 技术 ， 可 以 静态 分 配 或 移动 声 源 的 位 置 。 


技术 团队 建立 了 空间 音乐 浊音 室 作 为 系统 应 用 。 它 可 以 将 音乐 曲目 分 配给 房间 中 的 物体 ， 比 如 说 一 个 人 花瓶。 需要 播放 音乐 的 
时 候 ， 你 只 需要 拿 起 花瓶 ， 在 空中 “ 倒 出 ”一 条 轨迹 。 做 出 分 开 双 手 或 者 并 拢 双手 的 手势 可 以 操纵 音量 、 重 音 和 低音 。 


Muller 写 道 : “我 们 认为 ， 在 空中 “触摸 ” 声 源 并 使 相应 物体 发言” 的 能 力 为 人 机 交互 打开 了 许多 新 的 机 会 。” 例 如 ， 
他 描述 了 一 个 大 理 石 应 答 机 ， 看 起 来 就 像 是 普通 的 碗 装 满 了 大 理 石 : 


当 从 碗 中 取出 一 颗 大 理 石 时 ， 石 头 本 身 可 以 播放 录制 的 信息 ， 也 可 以 被 带 到 另外 的 空间 里 。 如 果 用 户 想 删除 该 消息 ， 她 可 以 
简单 地 把 它 从 大 理 石 中 拿 出 来 ， 然 后 扔 到 垃圾 桶 里 去 。 她 甚至 可 以 对 着 大 理 石 回复 语音 这 条 语音 会 直接 反馈 给 呼叫 者 。 如 果 
她 想 保留 这 个 信息 ， 可 以 把 大 理 石 放 在 另 一 个 碗 里 。 





现在 ， 大 理 石 本 身 当然 不 能 播放 声音 ， 这 是 幻觉 。 大 理 石 只 是 普通 的 石头 ， 隐 藏 在 墙壁 上 的 扬声器 发 出 声音 ， 给 人 的 感 党 像 
是 来 自 大 理 石 一 样 。Muller 说 : “这 个 想法 是 ， 所 有 的 物体 本 身 都 是 完全 正常 的 ， 并 没有 黑 科技 嵌入 在 里 面 。” 


在 另 一 个 例子 中 ，Miuller 描 述 了 一 些 停 在 房间 某 处 或 过 头顶 的 乌 群 一 一 它们 象征 着 未 读 的 电子 邮件 ， 新 的 电子 邮件 在 用 
户 面前 和 身边 飞行 ， 紧 急 邮 件 从 用 户 的 头 项 飞 过 ， 它 们 都 用 定向 音频 做 好 了 标记 。 可 以 通过 鸟 的 啊 喇 声 来 识别 不 同 的 发 送 者 。 如 
果 用 户 想 要 阅读 消息 ， 她 可 以 走向 小 鸟 ， 在 空中 触摸 它 ， 这 封 邮件 就 会 被 朗读 。 用 户 也 可 以 通过 抓 住 和 操纵 鸟 儿 来 回复 或 转发 电 
子 邮件 。 


增强 音频 技术 可 以 为 我 们 与 日 常生 活 的 世界 互动 创造 新 方法 。 并 不 一 定 需要 和 大 理 石 应 答 机 或 乌 儿 递送 电子 邮件 一 样 ， 我 们 
可 以 为 这 前 所 未 有 的 新 兴 媒 体 设 计 新 的 互动 学 式 。 这 些 对 典型 而 平凡 活动 展开 的 富有 想象 力 和 艺术 性 的 探索 ， 正 激发 着 我 们 重新 
思考 如 何 与 信息 进行 交互 ， 以 及 我 们 可 以 根据 这 一 独特 的 渠道 发 明 哪 些 新 的 体验 。 


为 了 让 BoomRoom 真 正 走 入 我 们 的 日 常生 活 中 ， 下 一 步 努力 的 方向 是 用 更 经 济 的 方式 将 扬声器 面板 集成 到 房屋 的 墙壁 中 。 
目前 ， 这 个 原型 为 我 们 打开 了 一 肩 华丽 的 门 ， 让 我 们 开始 思考 如 何 应 用 增强 音频 进行 沟通 ， 并 以 物理 方式 (身体 动作 ) 与 我 们 周 
围 的 环境 进行 互动 。 


[1] http://hypersound.com/home.phpo 
[2] http://hypersound.com/retail.php。 
[3] https://youtu.be/82b2Bl-kA28。 


声音 的 想 稍 ， 声 音 的 游戏 


日 本 的 可 穿戴 技术 创业 公司 Moff Band 叶 设计 了 一 款 适 合 儿童 使 用 的 可 穿戴 设备 (可 在 亚马逊 上 购买 ) ， 人 允许 人 们 使 用 手 
势 与 声音 来 演绎 富有 想象 力 的 游戏 和 故事 。 手 环 可 以 通过 蓝牙 连接 到 智能 手机 或 平板 电脑 的 应 用 程序 ， 并 使 用 其 内 置 的 加 速度 计 
和 陀螺 仪 传感器 来 检测 儿童 所 做 的 动作 。 所 选择 的 声音 效果 可 以 针对 孩子 的 动作 实时 播放 ， 包 括 气泡 咕噜 声 、 吉 他 声 、 忍 者 挥 剑 
声 以 及 其 他 运动 产生 的 声音 。Moff 手 环 可 以 检测 两 个 独立 的 动作 : 手臂 左右 挥舞 ， 或 者 上 下 挥舞 。 哪 怕 使 用 者 在 距离 设备 30 英 
尺 远 的 地 方 ， 发 声 设备 仍然 能 够 正常 工作 。 


两 个 孩子 (或 大 人 ) 可 以 带 上 Moff 手 环 一 起 玩 灰 。 例 如 ， 假 装 正在 打 网 球 ， 当 你 在 空气 中 摆动 假想 的 球拍 时 ， 你 可 以 听 到 
网 球 在 空中 刷 刷 掠 过 的 声音 。 你 也 可 以 听 到 虚拟 人 群 欢呼 的 声音 。 Moff 手 环 将 技术 与 身体 活动 相 结合 ， 它 通过 自己 的 音效 来 鼓 
励 孩子 们 自由 运动 、 跳 跃 转身 。 


Moff 手 环 与 美国 PBS KIDS[ 尘 合作 推出 了 PBS KIDS 聚 会 应 用 程序 。 这 项 针对 5 ~ 8 岁 儿童 开发 的 活动 旨 在 通过 ( 戴 着 手 环 


时 ) 富有 想象 力 的 游戏 和 运动 来 促进 学 习 。 该 应 用 程序 包括 Freeze Dance 游 戏 、 了 lata 聚会 游戏 、 计 数 游戏 以 及 录音 能 力 。 


\ 一 


~ 


Konstruct 济 是 James Alliban 从 2011 年 开始 设计 的 的 增强 现实 体验 ， 由 伦敦 公司 String 提 供 技术 支持 ， 它 允许 你 使 用 声音 


结合 智能 手机 来 建造 虚拟 雕塑 。 这 是 使 用 增强 音频 的 一 种 截然 不 同 的 方式 ， 声 音 不 仅仅 用 于 支持 视觉 效果 ， 还 可 以 使 虚拟 体验 更 
加 形象 ，Konstruct 可 以 基于 你 的 声音 生成 抽象 的 视觉 效果 。 像 Moff 手 环 一 样 ， 它 能 够 响应 你 的 操作 一 一 不 管 是 通过 说 话 、 吹 

口哨 或 对 着 设备 的 麦克 风 吹 气 。 你 可 以 组 合 各 种 3D 形 状 、 颜 色 和 其 他 不 同 选项 来 构建 无 穷 无 尽 的 虚拟 结构 ， 噪 音 的 大 小 也 会 影 

响 形状 的 大 小 ， 如 图 4-3 所 示 。 





Shape & Colour Settings 





图 4-3: Konstruct 能 够 把 音频 操作 转换 成 抽象 视觉 效果 的 实例 (https://itunes.apple.com/us/app/konstruct/id426861175?mt=8) 


Moff 手 环 和 Konstruct 都 能 够 创造 出 有 趣 的 场景 ， 以 充满 想象 力 的 方式 来 操作 声音 ， 从 而 获得 灵活 多 变 、 自 由 配置 和 个 性 化 
的 独特 体验 。 能 够 让 用 户 身 临 其 境 的 原因 之 一 是 因为 用 户 自己 指导 和 定义 了 体验 。 


[1] http://www.moff.mobi/。 
[2] http://pbskids.org/。 


[3] http://apps.augmatic.co.uk/konstruct。 


增强 音频 和 个 性 化 


RjDj 是 由 Last.fm 联 合 创始 人 Michael Breidenbruecker 于 2008 年 创立 的 伦敦 创业 公司 ， 开 发 了 一 种 称 为 反应 式 音乐 的 非 线 
性 音乐 形式 ， 它 能 够 使 用 智能 手机 应 用 实时 对 听众 及 其 环境 进行 响应 。 戴 着 耳机 时 ， 听 众 所 处 环境 的 声音 由 其 智能 手机 的 内 置 麦 
克 风 收集 ， 实 时 重新 混合 ， 结 合 听众 和 其 背景 为 其 创建 独特 的 个 性 化 音 轨 。 昌 然 风 Dj 在 2013 年 关闭 其 网 站 并 将 其 应 用 下 线 ， 但 
其 创新 工作 仍然 与 今天 增强 音频 的 发 展 息息相关 。 


我 们 都 熟悉 个 性 化 播放 列表 (Last.fm 提 供 了 这 样 的 服务 ) ， 但 是 RjDj 的 设计 远 远 超越 了 播放 列表 ， 它 实际 上 能 够 个 性 化 音 
乐 和 歌曲 本 身 ， 以 对 用 户 和 其 周围 环境 做 出 响应 。Breidenbruecker 提 到 [1>]: “音频 技术 用 了 差不多 十 年 的 时 间 来 实现 我 一 开 
始 对 RjDj 的 设计 。” 


RjDj 的 应 用 程序 基于 iPhone 所 引入 的 新 互动 方式 进行 了 开发 ， 结 合 其 集成 组 件 、 传 感 器 和 设备 固有 的 可 移植 性 ， 创 造 了 以 
前 不 可 能 实现 的 音乐 体验 。RjDj 的 首席 创意 官 Robert Thomas 解 释 了 其 应 用 背后 的 技术 : 


RjDj 的 应 用 程序 全 部 基于 开源 软件 Pute 提 供 的 数据 。RjDj 开 发 了 自己 的 iPhone 端口 。 针 对 增强 声音 体验 ， 我 们 拥有 了 自己 的 
工具 库 。 从 传感器 的 角度 来 看 ， 我 们 几乎 能 够 在 iPhone 上 使 用 每 一 个 传感器 ， 包 括 和 移动、 时间、 天气、 位置 等 ， 当 然 还 包括 麦克 
风 一 一 用 于 分 析 音 频 的 响 度 和 频率 。 


当前 的 增强 音频 应 用 程序 (类 似 Detour 这 种 ) 同样 可 以 利用 智能 手机 传感器 来 提供 结合 环境 的 体验 ， 比 如 实时 了 解 你 在 旅 
途中 的 位 置 以 及 基于 所 在 位 置 为 你 推送 特定 的 内 容 。 除 了 智能 手机 ， 我 们 也 很 高 兴 看 到 传感器 技术 能 够 应 用 于 其 他 形式 的 可 穿戴 
设备 ， 璧 如 AR 有 眼镜 等 。 在 未 来 的 AR 体验 中 ， 传 感 器 将 发 挥 重 要 作用 一 提供 个 性 化 内 容 ， 使 你 能 够 以 新 的 方式 与 环境 更 好 的 同 


J 上 
东 。 


Here One 吐 是 来 自 可 穿戴 设备 公司 Doppler Labs 的 最 新 产品 。 由 一 对 无 线 耳塞 组 成 ， 可 以 通过 蓝牙 连接 到 智能 手机 应 
用 。Here One 可 以 实时 对 环境 声音 进行 操作 ， 以 创建 个 性 化 的 音频 体验 。 


在 第 一 个 版 本 中 ，Here One 针 对 的 是 音乐 家 和 音响 发 烧 友 。 你 可 以 根据 自己 的 喜好 ， 利 用 应 用 程序 中 的 控件 一 一 包括 重 
奏 、 中 频 、 低 音 和 其 他 音效 (如 混 响 、 回 声 和 法 兰 ) 调整 音频 ， 甚 至 可 以 重 放 现 场 演奏 的 音频 。“Here One 并 没有 使 用 流 


媒体 或 者 播放 录制 的 音乐 ，”Kraft 在 《Here Active Listening》[16 中 解释 阅 ，“ 与 众 不 同 的 是 ， 内 庶 的 数字 信号 处 理 器 通过 提 
供 音量 旋钮 、 均 衡器 和 各 种 音效 ， 来 呈现 现实 世界 音频 的 效果 。 





Kraft 设 想 : 下 一 版 本 的 Here One 系 统 能 够 提供 特定 的 频率 和 音调 ， 以 产生 现实 世界 中 的 噪音 ， 如 婴儿 哭泣 声 或 者 火车 鸣 苗 
声 。 在 这 方面 ， 像 Steve Mann 描 述 的 那样 ， 我 们 可 以 将 Here One 视 为 一 种 “调制 现实 ” ( 像 第 2 章 中 所 提 到 的 那样 ) 或 者 “一 
个 自 创 的 个 人 空间 ”; 而 这 里 强调 的 是 声音 并 非 视觉 。 调 制 现实 并 不 会 将 我 们 与 现实 世界 彼此 分 离开 ， 像 Here One 这 种 设计 可 
以 用 来 聚焦 重点 、 减 少 分 心 或 者 关注 用 户 感 兴趣 的 声音 ， 辟 如 在 嗜 杂 的 餐厅 中 用 于 放大 与 你 共和 餐 的 人 的 骂 音 。 


对 于 Kraft 来 说 ，Here One 的 未 来 将 会 与 上 下 文 相关 ; 他 在 《Holding the Internet to Ransom》[17] 中 解释 了 自己 对 这 项 
工作 的 展望 : 


我 们 把 它 看 作 放 在 耳 边 的 一 个 新 装置 ， 你 可 以 根据 不 同 的 环境 对 此 进行 优化 。 我 们 正在 研究 的 机 器 算法 实际 上 是 很 直观 的 。 
想象 一 下 ， 当 你 走 进 一 家 餐馆 ， 通 过 地 理 位 置 定位 和 局 发 式 搜索 以 及 机 器 了 解 到 你 的 身份 信息 ; 我 们 可 以 说 ， 你 好 比尔 ， 我 们 知 
道 的 第 一 件 事情 是 你 的 嗓音 偏好 。 大 多 数 时 候 ， 你 走 进餐 厅 ， 你 会 调 低 百 分 之 十 五 的 音量 。 我 们 也 了 解 这 个 房间 ， 因 为 你 在 房间 





方 角落 里 的 ) 对 话 在 这 个 环境 中 完美 呈现 。 


Kraft 把 虚拟 现实 视 为 一 种 隔离 技术 ， 将 会 “使 你 脱离 现实 ”。 像 Mason 对 Detour 的 设计 一 样 ， 他 希望 你 可 以 更 好 地 沉浸 在 
现实 中 。Kraft 相 信 ， 在 未 来 “和 今天 不 同 的 是 ， 屏 幕 上 不 会 再 出 现 你 的 脸 ” ， 我 们 正在 以 更 强 的 方式 充分 利用 自己 的 感觉 和 潜 


能 ， 无 论 是 消除 噪音 ， 或 是 用 语音 命令 唤醒 智能 助手 。 


[1] https://hereplus.me/。 


无 处 不 在 的 听觉 设备 


听觉 设备 或 像 是 Here One 这 种 基于 耳机 的 智能 设备 ， 为 我 们 创造 了 一 种 新 的 方式 来 聆听 以 及 与 环境 进行 互动 。 同 Kraft 指 出 
的 那样 ， 听 觉 设 备 使 得 你 周围 的 环境 也 可 以 通过 语音 交互 来 获得 指令 。 语 音 是 最 常见 的 沟通 方式 ， 我 们 已 经 熟悉 并 习惯 了 携带 有 
线 耳 塞 或 者 蓝牙 耳机 ， 这 为 听觉 设备 更 快 发 展 黄 定 了 良好 的 基础 。 耳 机 制造 商 Monster 的 创始 人 兼 首席 执行 官 Noel Lee 在 


《Forget the iWatch.Headphones are the original wearable tech》[18] 中 表示 : 耳机 是 “首先 为 大 众 所 接 受 的 可 穿戴 设 
备 ”。 目 前 的 发 展 趋势 是 技术 隐形 ， 耳 水 提供 了 一 个 很 好 的 选择 。 


摩托 罗拉 的 智能 耳塞 Moto Hint 于 2014 年 首次 推出 ， 它 隐形 的 设计 可 以 让 佩戴 者 在 任何 地 方 和 任何 时 间 进 行 语音 输入 。 
Moto Hint 是 一 枚 可 以 放 入 耳 朱 中 的 耳塞 ， 能 够 兼容 任何 支持 监 牙 的 智能 手机 或 平板 电脑 。 它 包括 扬声器 、 触 控 面 板 、 双 重 降 噪 
麦克 风 、 可 充电 电池 和 红外 距离 检测 器 ， 以 便 设 备 在 置 入 耳 打 时 自动 打开 。 


Moto Hint 可 用 来 拨打 和 接听 电话 ， 或 在 150 英 尺 范 围 内 收听 博客 或 音乐 的 内 容 。 但 无 线 耳 塞 最 强大 的 功能 是 你 可 以 通过 语 
音 与 Moto Voice、Google Now 或 Siri 等 智能 个 人 助理 进行 交互 (增强 个 人 助理 的 未 来 将 在 第 7 章 中 讨论 ) 。 无 需 把 注意 力 放 在 
手机 上 ， 用 户 就 可 以 自由 提问 并 得 到 答案 ， 如 “今天 需要 带 伞 吗 ? ” “我 的 下 一 个 约会 是 什么 ? ”或 “我 离 家 有 多 远 ? ”。 当 
Moto Hint 与 摩托 罗拉 智能 手机 (如 Moto X) 成 功 配对 后 ， 它 将 进入 监听 模式 ， 用 户 可 以 通过 说 出 手机 的 自 定义 语音 提示 与 耳 
机 进行 交互 。 但 是 ， 当 连接 到 iPhone 或 其 他 Android 设 备 时 ， 不 能 只 是 通过 语音 操纵 ， 而 需要 点 击 提示 来 激活 Google Now 或 
Siri。 虽 然 Moto Hint 并 不 完美 ， 但 它 在 全 球 范围 内 带动 了 这 种 无 需 双 手 的 交互 体验 的 发 展 ， 让 我 们 不 再 总 是 需要 低头 看 着 屏 
幕 。 


在 2016 年 ， 苹 果 推 出 了 AirPods 上 党 无线 耳塞 。 用 户 可 以 通过 双击 AirPods 来 访问 Siri， 而 不 用 将 iPhone 从 口袋 中 取出 。 
AirPods 可 以 自动 连接 到 Apple 设 备 (如 iPhone 和 Apple Watch) ， 并 在 设备 之 间 进 行 实时 的 声音 切换 。 在 AirPods 宣 传 片 中 ， 
苹果 公司 首席 设计 官 Jony lve 表 示 : “我 们 正 处 在 真正 的 无 线 未 来 的 开始 。 多 年 来 ， 我 们 一 直 在 努力 ， 让 技术 可 以 实现 你 与 设备 
之 间 的 无 缝 自动 连接 。 


在 未 来 ， 听 党 设备 的 能 力 将 得 到 进一步 扩展 ， 以 创造 更 多 的 个 性 化 体验 ; 它们 将 不 仅 能 够 监听 你 的 声音 ， 而 且 能 够 监听 你 的 
身体 。 佩 戴 在 耳 采 中 的 装置 也 可 用 于 收集 生物 特征 信息 ， 包 括 血压 、 心 率 、 心 电 图 和 体温 等 。Valencell[ 河 是 美国 的 一 家 公司 ， 
正在 开发 用 于 可 穿戴 设备 的 生物 识别 传感器 技术 ， 其 中 包括 能 够 从 耳 朱 收集 生理 数据 的 PerformTek 耳 塞 传感器 模块 。 


该 技术 使 用 光学 体积 描记 术 (PPG) 一 一 一 种 无 创 光学 技术 ， 来 收集 用 户 的 血 流 和 活动 数据 。PPG 借 助 照射 在 皮肤 表面 的 
光线 ， 利 用 光学 检测 器 来 测量 来 自 皮肤 和 血管 的 散射 光 的 变化 (在 医院 中 ， 这 通常 依靠 来 在 指 尖 的 设备 完成 ) 。 


Valencell 已 经 将 其 PerformTek 传 感 器 技术 授权 给 消费 电子 制造 商 、 移 动 设备 和 配件 制造 商 、 运 动 健身 品牌 以 及 游戏 公司 
等 ， 以 集成 到 产品 中 。 已 推出 的 耳 戴 式 产品 包括 LG 的 心率 监测 耳机 注 和 iRiver 的 iRiverON 心 率 监测 蓝牙 耳机 。 在 听 音 乐 的 同 
时 ，iRiverON 可 以 通过 跟踪 你 的 生物 特征 (包括 心率 、 燃 烧 的 卡路里 以 及 运动 的 速度 和 距离 ) 来 帮助 你 “更 智能 地 运动 ”。 例 
如 ， 在 跑步 之 前 ， 将 它 放 入 耳 洒 并 连接 到 智能 手机 。 在 运动 过 程 中 ， 设 备 能 够 通过 耳机 收集 你 的 生物 特征 。 其 语音 反馈 系统 会 通 
过 你 的 耳 洒 告诉 你 此 时 的 心率 区 间 以 及 是 否 达到 了 设 定 的 卡路里 目标 。 收 集 到 的 数据 将 被 实时 传送 给 智能 手机 端的 应 用 程序 ， 以 
便 稍 后 查看 。 


听觉 设备 的 发 展 机 会 并 不 局 限于 健康 和 健身 行业 。 在 游戏 行业 耳机 的 使 用 十 分 普遍 ， 而 具有 生物 特征 传感器 技术 的 耳塞 将 会 
改变 我 们 玩 游戏 的 方式 。Valencell 首 席 执行 官 兼 共同 创始 人 Steven LeBoeuf 认 为 ， 未 来 身 临 其 境 的 游戏 体验 将 离 不 开 生物 识别 
技术 。 一 些 可 能 的 设计 包括 使 用 心率 作为 关键 控制 的 健身 游戏 ， 需 要 在 人 物 游泳 时 相应 控制 呼吸 的 动作 游戏 ， 以 及 能 够 根据 用 户 
的 心情 或 压力 状态 在 不 同 游戏 模式 之 间 切 换 的 健身 游戏 等 。 “借助 于 生物 特征 技术 ， 通 过 心率 变化 监控 ， 可 以 实时 掌握 玩家 的 情 
绪 状态 ， 使 得 游戏 可 以 在 玩家 无 意识 的 情况 下 有 助 于 压力 管理 。”LeBoeuf 在 《How Biometrics Could Change Gaming in 
2014》[ ”中 表示 ，“ 例 如 ， 玩 家 可 以 通过 改变 自己 的 情绪 状态 ， 用 意念 将 身体 从 Bruce Banner 转 变 成 绿 巨 人 。” 

正如 我 们 所 看 到 的 那样 ， 在 本 章 的 所 有 例子 中 ， 增 强 音频 为 我 们 带 来 的 不 仅仅 是 声音 ， 还 包括 对 内 在 体验 的 创造 ; 这 一 切 扒 


动 着 我 们 大 步 走向 真正 的 导航 、 娱 乐 或 健身 ; 也 允许 我 们 在 情感 上 通过 共 情 、 故 事 和 游戏 的 力量 来 使 我 们 的 体验 更 进一步 。 每 个 
例子 都 使 人 沉浸 在 聆听 或 者 被 聆听 的 世界 中 ， 通 过 对 上 下 文 的 理解 实现 个 性 化 体验 ， 将 使 用 者 与 地 点 、 事 件 或 人 物 进 行 更 深层 次 


的 链接 。 增 强 音频 将 我 们 的 注意 力 引 向 周边 的 环境 ， 我 们 可 以 选择 是 否 与 之 同步 。 在 增强 现实 中 ， 音 频 技 术 的 未 来 不 仅 包括 使 用 
音频 来 补充 视觉 效果 以 增强 可 信和 度 ， 而 且 还 包括 结合 音频 技术 与 其 他 增强 感官 相互 作用 的 独特 方式 进行 探索 。 


[1] https://www.apple.com/ca/airpods/。 
[2] http://www.valencell.com/。 
[3] http://bit.ly/2vs QAVe。 
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第 5 章 ”数字 串 嘻 和 数字 味 完 


2013 年 4 月 1 日 ， 谷 歌 发 布 了 “Google Nose”， 一 种 捕捉 和 搜索 气味 的 数字 方法 。 在 公司 发 布 的 视频 [ 潮 中 ， 产 品 经 理 Jon 
Wooley 指 出 ， 嗅 觉 体 验 是 曾经 被 谷歌 忽视 的 搜索 体验 的 重要 部 分 。Google Nose 可 以 不 依靠 类 型 、 言 语 和 触觉 来 获取 信息 和 世 
界 上 的 知识 。 基 于 Google Aromabase 数 据 库 提供 的 来 自 世界 各 地 的 1500 万 种 香料 ，Google Nose 将 能 够 识别 环境 中 的 特殊 气 
味 ， 或 者 根据 关键 字 搜 索 的 结果 散发 香气 。 


尽管 Google Nose 是 一 个 思 人 节 有 恶作剧 ， 并 非 真 正 的 产品 。 但 互联 网 上 的 数字 香 氛 体验 这 一 设计 并 不 牵强 。 事 实 上 ， 通 过 
硬件 和 可 穿戴 设备 来 释放 香气 这 一 技术 目前 已 经 在 改善 人 们 的 生活 ， 璧 如 它 能 够 释放 对 痴呆 症 患 者 和 阿尔 芒 海 默 病 患者 有 益 的 香 
气 。 它 甚至 被 用 作 早 期 的 诊断 工具 。 


人 的 感觉 不 仅 限于 视觉 、 触 党 和 听觉 。 如 果 我 们 要 把 增强 现实 与 我 们 所 有 的 感觉 融 为 一 体 ， 嗅 觉 和 味觉 不 容 忽 略 。 它 们 是 与 
次 部 边缘 系统 直接 相连 的 唯一 两 个 感官 ， 主 要 负责 情绪 和 记忆 。 和 气味 和 味道 是 针对 故事 、 记 忆 和 情绪 的 令 人 难以 置信 的 载体 。 这 
两 种 感觉 可 以 将 你 送 回 过 去 ， 或 者 把 你 的 注意 力 转移 到 现在 。 


数字 嗅觉 和 味觉 这 一 领域 的 前 沿 研究 、 原 型 开发 和 产品 设计 正在 不 断 增长 ， 旨 在 增加 我 们 对 周边 环境 的 认 知 和 互动 方式 。 在 
本 章 中 ， 我 们 讨论 的 重点 将 放 在 基于 虚拟 气味 和 味道 的 新 型 可 穿戴 设备 及 其 接口 ， 这 些 技术 可 以 增加 我 们 分 享 和 接收 信息 的 方 
式 ， 增 强 娱 乐 体验 ， 加 深 对 特定 事物 的 理解 ， 甚 至 影响 我 们 的 整体 健康 。 


[1] https://youtu.be/9-POjEMtixY 。 


Smell-O-Vision 的 回归 


增强 嗅觉 媒体 体验 的 想法 源 于 Hans Laube 发 明 的 Smell-O-Vision， 其 在 1939 年 纽约 世界 博览 会 上 首次 亮相 。1960 年 ， 该 


技术 进入 了 电影 院 ， 为 我 们 带 来 了 第 一 部 Smell-O-Vision 电 影 《 神 秘 的 气味 》。 这 一 技术 通过 塑料 管道 自动 将 气味 直接 泵 送 到 
各 个 座位 ， 散 发 的 香气 与 屏幕 上 的 动作 同步 。 三 十 种 不 同 的 香气 弥漫 在 空中 ， 包 括 电 影 中 神秘 女孩 的 香水 、 烟 草 、 检 子 、 鞋 油 、 
葡萄 酒 ( 当 一 个 人 物 被 落下 的 酒 桶 压 死 时 ) 、 烤 面包 、 咖 啡 和 薄荷 。 如 图 5-1 所 示 ， 一 张 电影 海 报 《 拥 有 神秘 香气 的 Smell-O- 


Vision》 上 宣传 道 : “首先 是 动作 (1895) ! 然后 是 音效 (1927) ! 现在 是 气味 (1960) ! ”增强 现实 技术 的 发 展 和 电影 的 历 
史 类 似 : 从 移动 的 图 像 开 始 ， 之 后 对 声音 进行 整合 ， 然 后 尝试 重新 创造 其 他 感觉 一 璧 如 嗅觉。 
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图 5-1: 《神秘 的 气味 》 海 报 (https://en.wikipedia.org/wiki/Smell-O-Vision) 


可 惜 的 是 ， 有 一 部 分 香气 被 延迟 送 达 ， 香 气 分 配 系统 产生 的 大 量 噪音 分 散 了 观众 的 注意 力 ， 还 有 一 部 分 气味 使 观众 恶心 


一 一 这 些 因素 使 得 《神秘 的 气味 》 最 终结 局 并 不 像 期 望 的 那样 。 将 Smell-O-Vision 带 到 其 他 电影 院 的 计划 被 中 止 ， 电 影 也 被 重 
新 发 行 ， 标 题 为 《西班牙 的 假日 》。 


距 首次 发 布 五 十 余年 后 ，《 神 秘 的 气味 》[1 于 2015 年 10 月 再 次 在 英国 布 拉 德 福 德 市 和 丹麦 哥本哈根 进行 放映 ， 和 最 开始 的 


设计 同样 强调 嗅觉 体验 。 “我 希望 这 能 够 让 人 们 注意 到 嗅觉 体验 的 无 限 可 能 。” 重 映 电影 的 出 品 人 Tamara Burnstock 表 


个 


强 嗅 党 体验 。 


“这 是 恢复 对 香味 电影 兴趣 的 一 次 机 会 。” 


这 也 是 一 次 让 我 们 能 够 了 解 今天 可 以 做 哪些 不 一 样 的 事情 的 机 会 ， 我 们 将 借 此 探索 有 哪些 新 的 技术 和 设计 能 够 在 未 来 用 于 增 
影 中 的 原始 气味 被 重新 想象 和 设计 ， 更 强调 观众 与 模拟 技术 的 互动 。 每 个 座位 都 装备 了 一 个 存 有 “神秘 气味 ”的 


扇子 ， 观 众 可 以 在 出 现 提 示 时 摇动 它 ， 在 特定 的 时 刻 从 瓶 中 释放 喷雾 ， 同 时 ， 带 有 大 量 香气 的 演员 走 过 礼 堂 


除了 和 气味 扩散 方法 之 外 ， 这 次 重 映 对 气味 的 序列 和 气味 的 表达 方式 进行 了 实验 ， 为 增强 气味 技术 的 剧本 设计 提供 了 新 的 可 


例如 ， 研 究 中 发 现 香味 被 释放 的 顺序 是 至 关 重要 的 。 玫 瑰 的 气味 必须 在 大 蒜 气 味 之 前 引入 。 当 需要 有 代表 性 的 展现 时 ， 可 以 
出 现 与 屏幕 上 直接 相关 的 气味 ， 璧 如 橙子 树 ; 而 其 他 场景 则 需要 以 某 些 气味 作为 基调 ， 创 造 出 一 种 类 似 于 交响 乐 的 氛围 。 


《香气 的 秘密 : 香水 探索 与 气味 科学 》 的 作者 一 一 生物 物理 学 家 Luca Turin 认 为 ，Smell-O-Vision 难 以 快速 发 展 的 原因 之 
一 是 因为 我 们 很 难 像 调制 各 种 颜色 一 样 调制 出 大 型 的 气味 场景 。 艺 术 与 嗅觉 研究 所 创始 人 saskia Wilson-Brown 参 与 了 2015 年 
的 重 映 制作 ， 监 督 了 气味 的 组 成 和 生产 ， 她 证 明了 处 理 嗅觉 这 一 任务 充满 挑战 。 虽 然 今天 有 更 多 的 技术 能 够 让 我 们 更 好 地 了 解 和 
使 用 气味 ， 但 她 认为 香气 调制 仍然 是 完全 实验 性 的 工作 。 


也 有 评论 家 认为 ，Smell-O-Vision 是 20 世 纪 60 年 代 的 嘻 头 。 如 果 研 究 焦点 仍然 在 技术 上 ， 而 不 是 提供 更 有 影响 力 和 吸引 力 
的 体验 ， 同 样 的， 增强 现 实 也 有 成 为 吃 头 的 危险 。 


“如 何 使 气味 成 为 故事 的 一 部 分 而 不 是 一 个 哮 头 呢 ? ”Wilson-Brown 提 出 了 这 样 一 个 问题 ，“ 这 实际 上 是 一 个 语义 问题 ， 
我 们 需要 为 此 创造 共同 的 语言 和 共同 的 意义 一 一 这 非常 困难 ， 因 为 每 个 人 对 香气 的 感受 和 体会 都 是 不 同 的 。 


然而 ， 也 许 我 们 面临 的 问题 并 非 是 为 香气 建立 一 种 共同 的 语言 或 者 是 共同 的 意义 ; 也 许 增强 嗅觉 的 真正 机 会 在 于 个 性 化 体 
验 。 基 于 Smell-O-Vision 设 计 的 《神秘 的 气味 》 的 首 映 和 重 映 都 是 面向 在 公共 空间 的 大 量 观众 ， 难 以 进行 大 规模 的 管理 。 而 结 
合 刚 刚 开发 的 新 设备 ， 针 对 个 人 或 较 小 的 团队 进行 体验 设计 ， 则 可 能 是 增强 嗅觉 未 来 发 展 的 方向 。 


Smell-O-Vision 是 数字 化 沉浸 式 体验 的 前 身 之 一 ， 就 像 FeelReal 的 VR 面具 和 Nirvana 的 VR 头盔 等 现代 设备 一 样 。 其 原型 在 
旧金山 2015 年 游戏 开发 者 大 会 (GDC) 上 展示 ， 而 GDC 是 专业 视频 游戏 开发 商 最 大 的 年 度 聚 会 。FeelReal 在 GDC 会 后 宣布 进行 
Kickstarter 众 筹 ， 但 是 这 次 众 筹 并 没有 成 功 : $50000 美 元 的 集资 目标 中 仅 有 $24568 被 认购 。 该 公司 的 预购 网 站 上 列 出 了 面具 和 
头盔 的 设计 ( 见 图 5-2) ， 这 些 原 型 通过 气味 以 及 和 气流、 温度、 水 雾 结 合 三 维 视 频 游戏 和 电影 的 振动 产生 全 方位 的 体验 。 罩 住 脸 
部 的 下 半 部 分 的 面具 模型 与 Oculus Rift VR 耳机 相连 接 ， 而 头盔 模型 则 尝 住 头 部 并 与 智能 手机 的 屏幕 配合 使 用 。 两 个 模型 都 通过 
蓝牙 技术 无 线 连 接 到 数字 娱乐 源 设 备 ， 借 助 带 有 七 个 可 移 除 机 匣 的 气味 发 生 器 ， 将 气味 蒸发 到 用 户 的 鼻子 中 。 基 本 的 气味 包括 橡 
胶 燃 烧 的 味道 、 火 药 的 味道 ， 以 及 火 、 花 、 从 林 、 海 洋 甚 至 欲望 的 香气 。 


游戏 开发 人 员 可 以 使 用 Feelreal SDK 添 加 不 同 的 气味 和 效果 ， 创 建 身 临 其 境 的 虚拟 现实 游戏 。 无 需 任何 编程 技巧 ， 我 们 也 可 
以 借助 Feelreal 播 放 器 将 气味 和 效果 添加 到 电影 中 。 虽 然 Feelreal 的 产品 目前 主要 针对 VR 市 场 ， 但 更 为 独立 的 AR 系统 也 可 以 据 此 
设计 ， 以 在 游戏 和 娱乐 体验 中 模拟 不 同 的 气味 。 
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图 5-2: FEELREAL 面 具 设 计 图 (http:/ /feelreal.com/) 


个 性 化 的 气味 传播 和 叙述 


个 性 化 并 不 意味 着 增强 嗅觉 需要 独立 存在 或 是 仅 供 单 用 户 使 用 。 像 oNotes 计 和 Scentee 上 党 这样 的 数字 嗅觉 设备 使 用 户 能 
使 用 智能 手机 发 送 和 接收 气味 信息 。oNotes 由 Vapor Communications (由 哈佛 大 学 教授 David Edwards 与 其 前 学 生 Rachel 
Field 于 2013 年 组 建 的 创业 公司 ) 开发 ， 用 户 能 够 拍摄 照片 ， 在 移动 端 应 用 中 标记 它 的 气味 (与 为 Instagram 照 片 打 标签 相 
同 ) ， 然 后 与 朋友 分 享 ， 如 图 5-3 所 示 。 


通过 向 图 像 添加 感官 信息 ， 我 们 日 渐 接近 捕获 并 重新 创建 整体 的 体验 。 食 物 摄影 将 拥有 新 的 发 展 方向 : 无 论 是 在 新 的 餐厅 用 
是 


餐 ， 还 是 分 享 老 祖 母 的 食谱 ， 伴 随 着 香味 ， 你 的 照片 将 会 更 令 人 垂 泪 。 当 文字 不 足以 分 享 情绪 时 ， 和 气味 信息 也 可 以 用 作 沟 通 的 方 
式 。 


oNotes 应 用 程序 中 可 以 使 用 32 种 香气 ， 混 合 起 来 可 以 创建 超过 30 万 种 香味 信息 。 携 带 着 标 好 的 主要 和 次 要 信息 ， 照 片 被 称 
为 oPhone 的 硬件 设备 接收 。oPhone 有 两 个 由 oChips 机 匣 组 成 的 圆柱 形 塔 状 结构 ， 以 创造 香气 和 释放 气味 。 
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图 5-3: oNotes 的 设计 和 使 用 (https://onotes.com/pages/how-it-works) 


Edwards 希 望 oNotes 能 够 帮助 我 们 创建 感官 体验 的 新 时 代 ， 而 气味 能 够 像 视觉 和 声音 一 样 ， 成 为 消费 媒体 的 一 部 分 。 他 正 
在 努力 建立 气味 叙述 的 体系 ， 并 与 像 Melchar Media 这 样 的 公司 合作 研发 能 够 利用 oPhone 增 强 故 事 体 验 的 电子 书 。 


2015 年 ， 在 纽约 皇后 区 的 移动 影像 博物 馆 和 加 拿 大 蒙特 利 尔 的 Phi 中 心 展 出 了 “oBooks” 的 首 个 版 本 《金发 姑娘 与 三 只 
能 : 嗅觉 版 》。 在 这 次 香气 弥漫 的 展览 中 ，oBook 将 iPad 上 的 儿童 插图 电子 书 与 oPhone 气 味 释放 系统 相 结合 。 打 开 电子 书 ， 选 
定 页 面 的 屏幕 上 会 出 现 带 有 卡通 鼻子 的 标志 ， 并 指示 读者 点 击 该 标志 。 然 后 ， 鼻 子 消失 ， 屏 幕 上 出 现 “oPhone 正 在 准备 ”的 消 
息 。 此 时 ， 通 过 蓝牙 连接 到 iPad 的 oPhone 会 从 配备 的 气 瓶 之 一 中 发 出 一 股 与 故事 的 进展 相 呼 应 的 香气 。 这 股 香气 将 持续 10 秒 。 


Edwards 还 与 作曲 家 Daniel Peter Biro 和 调 香 大 师 Christophe Laudamiel 合 作 ， 创 作 了 oMusic 来 为 音乐 注入 气味 。 用 气味 
代替 文字 、 图 像 ， 甚 至 是 音符 本 身 ， 都 可 以 创造 出 内 容 翔 实情 感 丰富 的 故事 叙述 ， 这 种 新 的 模式 甚至 可 能 为 情感 体验 带 来 一 场 远 
远 超 越 视觉 和 听觉 的 革命 。 


oPhone (目前 的 最 新 版 本 ) 仍然 不 是 非常 便携 。 我 们 相信 ， 当 技术 设备 小 到 可 以 放 在 口袋 里 ,或 者 可 以 直接 嵌入 智能 
机 ， 又 或 者 分 布 式 集成 到 其 他 可 穿戴 设备 (如 AR 眼镜) 时 ， 数 字 嗅 觉 设 备 将 会 真正 走 入 我 们 的 日 常生 活 。 


气味 可 以 作为 一 种 非 语 言 的 沟通 方式 ， 我 们 能 够 为 不 同 的 气味 赋予 意义 。 就 像 第 3 章 中 所 讨论 的 那样 ， 我 们 能 够 通过 
Smartstones 这 类 产品 来 配置 秘密 消息 库 。2013 年 ， 开 发 了 另 一 款 便携 式 设备 Scentee， 它 的 形状 像 一 个 装 有 LED 灯 的 小 灯泡 
(大 约 一 个 樱桃 番茄 的 大 小 ) ， 可 以 被 插入 到 智能 手机 的 耳机 插 孔 。 它 与 配备 的 应 用 程序 配合 产生 香水 喷雾 ， 帮 助人 们 与 朋友 和 
家 人 沟通 。 用 户 可 以 使 用 Scentee 进 一 步 定义 个 性 化 的 体验 ， 壁 如 说 借助 特定 的 气味 通知 新 电子 邮件 和 Facebook 收 到 
的 “ 赞 ”， 甚 至 以 气味 来 配合 智能 手机 的 闹钟 功能 帮助 计算 时 间 。Scentee 还 为 开发 人 员 提 供 了 一 个 SDK 来 创建 应 用 程序 。 


由 伦敦 和 纽约 的 Mint Foundry 公 司 创建 的 增强 嗅觉 机 器 人 Olly 注 是 一 款 USB 供 电 的 气味 发 生 装置 ， 当 你 收 到 社交 媒体 的 新 
消息 或 任何 指定 的 通知 时 ， 它 将 会 释放 香气 。 用 户 可 以 使 用 3D 打 印 机 和 现成 的 零件 自行 组 装 Olly。 


嗅觉 增强 消息 借助 于 Scentee 和 Olly 等 设备 ， 能 够 在 未 来 为 我 们 带 来 新 颖 的 用 户 体验 。 和 气味 可 以 用 来 发 出 警报 ， 从 而 取代 在 
AR 眼镜 中 出 现 的 文本 信息 。 不 过 ， 你 可 能 要 谨慎 地 选择 用 什么 样 的 气味 来 通知 什么 ， 它 可 能 会 印 在 你 的 记忆 中 。 然 而 ， 选 择 一 
种 难 闻 的 气味 (对 每 个 用 户 来 说 都 是 主观 的 和 独特 的 ) 也 可 以 成 为 一 种 强调 通知 紧急 程度 的 不 容 忽 视 的 方式 。 


在 我 看 来 ， 这 种 交互 设计 需要 一 个 气味 缓存 清除 模式 。 我 们 在 最 近 重 新 筛选 《神秘 的 气味 》 的 过 程 中 学 到 了 一 个 教训 : 玫瑰 
的 气味 不 应 该 跟 在 大 蒜 的 气味 之 后 。 就 像 人 们 会 在 欣赏 多 种 香水 的 间隙 闻 一 碗 咖啡 豆 以 刷新 嗅觉 或 者 在 两 餐 之 间 吃 冰激凌 来 刷新 
味觉 一 样 ， 类 似 的 感官 中 和 技术 将 会 有 助 于 增强 嗅觉 的 体验 。 


[1] http://www.onotes.com/。 
[2] https://scentess.com/。 


[3] http://www.ollyfactory.com/ 。 


增强 嗅觉 技术 可 以 通过 创造 气味 场景 来 描绘 景观 。 伦 敦 大 学 学 院 的 考古 学 家 兼 设计 师 Stuart Eve 已 经 开发 出 了 一 款 能 够 帮助 
我 们 闻 到 历史 的 原型 一 一 《The Dead Man”sNose》[。 它 是 一 种 结合 增强 现实 技术 的 户外 气味 传递 系统 ， 可 以 将 用 户 带 回 
青铜 器 时 代 。 它 借助 GPS 数 据 确定 你 的 位 置 ， 并 据 此 创建 气味 场景 。 用 香气 来 进一步 提高 AR 体 验 ， 与 其 他 增强 感官 技术 一 起 使 
用 ， 如 图 5-4 所 示 。 





图 5-4: 配 有 烤肉 香气 的 《The Dead Man”sNose》 示 意图 (http://i2.wp.com/www.dead-mens-eyes.org/wp 
O pg) 


在 增强 现实 中 已 经 有 了 几 个 里 程 碑 式 的 娱乐 设备 ， 但 Eve 第 一 个 将 气味 作为 体验 的 一 部 分 。Eve 创 造 的 增强 现实 体验 在 史前 
遗址 康 沃 尔 郡 举行 。 如 同上 文中 所 提 到 的 那样 ， 他 解释 说 向 : “我 们 不 仅 可 以 走 入 新 青铜 时 代 的 场景 ， 还 可 以 一 步 步 地 走 进 村 
庄 ， 看 到 越 来 越 多 的 圆 屋 建筑 ， 听 到 远 处 传 来 青铜 时 代 的 牛 羊 只 呼 声音 ; 我 们 甚至 还 可 以 闻 到 燃烧 的 火焰 和 热 腾 腾 的 晚餐 的 香 


《The Dead Man'”sNose》 系 统 包含 一 块 Arduino 主 板 及 其 连接 的 四 台 小 型 电脑 风扇 。 这 些 风扇 安装 在 特制 的 木 箱 内 ， 每 
个 木 箱 中 都 有 一 个 小 抽 居 ， 里 面 装 有 一 块 饱 艺 液 体 香气 弥漫 的 棉 架 。Eve 写 了 一 个 小 的 Arduino 程 序 ， 它 接受 低 功 耗 蓝 牙 连 接 ， 
在 串口 上 监听 数字 信和 号。 根据 收 到 的 信号 ， 它 将 通过 电源 的 开关 来 控制 特定 的 风扇 工作 。 


Eve 同时 编写 了 一 个 简单 的 iOs 应 用 程序 。 为 用 户 提供 了 四 个 开关 (对 应 着 四 个 风扇 ) 和 一 个 中 断 按键 。 当 按 下 “ 连 
接 ” 时 ， 应 用 程序 通过 蓝牙 连接 到 《The Dead Man”sNose》 硬 件 ， 并 启用 开关 。 此 时 用 户 可 以 通过 简单 地 切换 开关 来 打开 任 
何 一 个 或 所 有 的 风扇 。 在 进行 切换 时 ， 系 统 通 过 蓝牙 串口 连接 发 送 特定 信号 ， 启 动 所 需 的 风扇。 


为 了 给 《The Dead Man”sNose》 提 供 地 理 信息 支持 ， 应 用 程序 通过 智能 手机 的 GPS 读 取 用 户 的 物理 位 置 。 使 用 iOS 内 置 
的 CoreLocation CircularRegion 方 法 ， 程 序 将 在 预先 给 定 的 坐标 列表 周围 创建 具有 指定 半径 的 一 系列 “地 理 围栏 ”嗅觉 区 域 。 
基于 用 户 想 要 闻 到 的 气味 ， 每 一 个 嗅觉 区 域 都 配置 了 一 个 或 多 个 风扇 的 ID。 当 用 户 物 理 上 走 进 其 中 一 个 嗅觉 区 域 时 ， 系 统 将 检 
测 到 用 户 通过 地 理 围 栏 并 发 送 串 行 信号 ， 相 关 的 风扇 开始 旋转 。 虽 然 在 没有 GPS 履 盖 的 地 方 (例如 在 某 个 封闭 的 画廊 内 ) 这 项 功 
能 尚未 实现 ， 但 是 iBeacons ( 详 见 第 4 章 中 提 到 的 Detour 和 “城市 解锁 ”) 也 可 以 用 来 作为 这 些 气味 的 触发 器 。 


《The Dead Man'′ sNose》 中 使 用 的 所 有 气味 都 来 自 供 应 商 Dale Air， 如 图 5-5 所 示 。Dale Air 创 造 了 300 多 种 不 同类 型 的 
气味 ， 从 鸡肉 到 及 脏 的 亚麻 布 ， 到 一 种 称 作 “ 龙 息 ” 的 香气 。Eve 指 出 ， 为 每 个 嗅觉 区 域 选 择 适 当 的 气味 是 非常 困难 的 事情 : 


据 我 所 知 ， 还 没有 人 能 够 创造 出 “ 荆 礼 后 墓穴 的 气味 ”。 然 而 ， 我 们 要 知道 ， 通 过 再 现 过 去 的 气味 ， 我 们 不 一 定 能 够 经 历 过 
去 发 生 的 事情 ， 或 者 是 解读 过 去 的 人 ; 但 我 们 可 以 借助 它们 来 改变 人 们 对 某 个 场景 的 体验 。 





Kate McLean 是 另 一 位 使 用 嗅觉 来 改变 景观 体验 的 研究 者 ， 特 别 是 城市 景观 。 她 说 六; “我 专注 于 人 类 对 城市 景观 的 感 
知 。 昌 然 视觉 在 数据 表示 方面 占据 主导 地 位 ， 但 我 相信 ， 我 们 应 该 利用 其 他 感官 模式 来 体验 城市 景观 ， 并 分 享 自己 的 理解 。 
” McLean 关于 嗅觉 的 研究 不 仅 集中 在 她 认为 常常 被 忽视 的 人 类 感觉 上 ， 而 且 还 包括 了 被 忽视 的 城市 设计 方向 。 
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图 5-5: Dale Ait 所 提供 的 香气 盒子 (http://www.daleair.com/dispensing/alcohol-vortex-cube-presentation-pack) 


多 年 来 ， 在 阿姆斯特丹 、 巴 黎 和 纽约 等 城市 ，McLean 领 导 了 一 系列 的 “嗅觉 漫步 ”活动 ， 她 希望 当地 居民 能 够 走 遍 城市 的 
每 一 个 角落 ， 并 记录 他 们 对 身边 气味 的 印象 ”利用 这 些 气 味 数据 ，McLean 以 城市 气味 地 图 的 形式 创建 了 气味 可 视 化 系统 。 她 正 
在 开发 一 款 叫 作 Smellscaper 的 应 用 程序 ， 以 更 好 地 对 嗅觉 漫步 的 数据 提供 支持 (主要 包括 结合 地 理 空间 记录 的 气味 笔记 ) ， 使 
人 们 能 够 更 好 地 参与 城市 中 的 嗅觉 漫步 (虽然 McLean 目 前 并 没有 开展 让 应 用 程序 散发 气味 的 工作 ) 。 


我 们 可 以 将 McLean 的 Smellscaper 应 用 和 在 第 4 章 中 讨论 的 Detour 进 行 类 比 。 在 这 里 你 的 鼻子 取代 了 耳 打 成 为 向 导 ， 使 得 
感官 重新 聚焦 在 周围 的 气味 上 ， 从 而 鼓励 人 们 重新 思考 如 何 体验 一 个 城市 。“Google Nose” 这 一 轧 人 节 的 笑话 实际 上 可 以 视 
作 一 个 城市 的 气味 地 图 的 原型 一 一 增强 嗅觉 技术 所 支持 的 谷歌 地 图 或 谷歌 街景 。 


[1] http://sensorymaps.com/about/。 


健康 与 增强 噢 部 


虽然 都 市 风景 能 够 自然 散发 出 自己 的 香味 ， 但 Ode 叶 等 能 够 散发 食物 香气 的 产品 能 够 更 好 地 帮助 老年 痴呆 症 和 阿尔 茨 海 默 
病 患者 。 早 餐 、 午 餐 和 了 晚餐 往往 拥有 着 不 同 的 气味 ， 嗅 觉 能 够 把 我 们 的 感官 同一 日 三 餐 的 时 间 联系 起 来 ， 刺 激 食欲 并 帮助 减轻 体 
。Ode 是 伦敦 设计 机 构 Rodd 与 嗅觉 体验 公司 的 香水 专家 Lizzie Ostrom[ 尘 合作 开发 的 硬件 设备 。 借 助 于 特别 设计 的 气味 黑 
它 能 够 在 每 次 进餐 时 间 为 我 们 带 来 两 个 小 时 的 嗅觉 体验 ， 如 图 5-6 所 示 。 


妙用 





图 5-6: Ode 嗅 觉 体 验 的 调节 和 使 用 (http://www.myode.org/) 


体重 减轻 常见 于 晚期 痴呆 患者 ， 可 以 作为 病情 发 作 的 早期 指标 。 而 Ode 可 以 通过 散发 蔬菜 汤 、 红 烧 牛 肉 、 黑 森林 蛋糕 等 令 
愉悦 的 食物 气味 来 刺激 食欲 。 此 外 ， 它 还 拥有 帮助 改善 心情 的 额外 效果 。 该 公司 的 网 站 上 对 不 同 客户 的 具体 行为 变化 进行 了 重点 
介绍 ， 在 Ode 安 装 后 的 11 周 内 ， 有 50% 的 参与 者 平均 增加 了 2 公斤 。Ode 是 一 个 通过 增强 气味 环境 来 改变 习惯 和 促进 健康 的 典型 


案例 。 


在 Ode 使 整个 房间 充满 了 食物 的 芳香 的 同时 ，Jenny Tillotson 博 士 正在 开发 eScent 一 一 另 一 种 更 加 本 地 化 的 可 穿戴 嗅觉 设 
备 ， 能 够 将 气味 直接 传递 给 用 户 的 鼻子 。eScent 在 脸 部 周围 形成 一 个 无 创 的 “气泡 ”， 以 智能 手机 上 的 预 编 应 用 程序 的 形式 ， 
结合 生物 传感器 、 拾 音 器 、 计 时 器 以 及 其 他 基于 传感器 的 触发 器 创建 了 一 部 分 区 域 ， 在 其 中 为 用 户 提供 持续 的 可 感知 的 气味 。 这 
为 我 们 提供 了 一 种 在 正确 的 时 间 和 正确 的 地 方 ， 根 据 特定 的 情况 发 出 增强 情绪 或 其 他 有 益 的 香味 的 方法 一 一 例如 在 检测 到 高 压 
力 水 平时 或 睡眠 受到 干扰 时 释放 令 人 放松 的 气味 。 它 可 以 在 正确 的 时 间 提 供 薄 荷 香气 以 提高 认 知 能 力 和 大 脑 的 运行 速度 ， 还 能 
在 检测 到 蚊子 喻 喻 声 时 自动 释放 驱 蚊 剂 。 


Tillotson 认 为 : eScent 的 真正 价值 在 于 作为 一 个 诊断 工具 。 她 解释 了 eScent 是 如 何 通过 使 用 智能 手机 上 的 简单 应 用 程序 为 
患者 预 编 个 性 化 的 定时 释放 气味 系统 ， 用 于 诊断 神经 退行 性 疾病 。Tillotson 说 : “目前 ， 医 生 通 过 人 工 观 察 嗅觉 反应 ( 壁 如 嗅觉 
的 丧失 ) 来 诊断 这 些 疾病 ， 而 这 样 的 程序 可 以 让 我 们 对 嗅觉 能 力 的 监测 更 加 准确 。 


Tillotson 已 经 在 与 神经 科学 家 和 阿尔 滨海 默 氏 症 专家 讨论 这 个 应 用 了 。 她 说 ， 早 期 针对 阿尔 滨海 默 氏 症 或 帕 金森 氏 症 的 检测 
都 非常 困难 ， 我 们 难以 识别 出 于 其 他 原因 而 造成 嗅觉 丧失 这 类 假 阳 性 案例 ，Tillotson 也 正在 为 此 问题 研究 解决 方案 。escent 告 
诉 我 们 ， 嗅 觉 技术 的 应 用 不 仅 限 于 娱乐 和 交流 ， 还 可 以 对 医疗 行业 产生 实际 影响 。 


[1] http://www.myode.orgo 


[2] http://www.odettetoilette.com/。 


数字 化 味觉 的 能 力 可 能 会 为 我 们 的 健康 带 来 更 多 的 好 处 。 “滋养 项 目 ” 法 是 虚拟 现实 中 的 一 种 模拟 用 餐 体验 ， 能 够 帮助 食 
物 过 敏 或 不 耐 受 的 人 们 避免 相关 的 后 果 ， 如 图 5-7 所 示 。 “滋养 项 目 ”的 创始 人 Jinsoo An 表 示 ， 他 并 没有 试图 改变 我 们 的 饮食 
习惯 ,因为 仿真 的 食物 并 不 能 代替 真实 的 东西 。 相 反 ， 他 正在 提出 一 种 新 的 方式 ， 来 让 饮食 受 限 的 人 们 能 够 偶尔 享受 到 被 认为 是 
不 健康 的 食物 。 这 个 项 目的 灵感 来 自 An 的 继父 ,一 位 不 能 再 吃 那 些 他 最 喜欢 的 食物 的 糖尿 病 患 者 。An 想 要 提供 一 个 美味 的 模拟 
器 ， 让 人 们 在 享受 美食 时 不 会 导致 血糖 上 升 。 





图 5-7: “滋养 项 目 ” 示 意图 (http://www.projectnoutished.com/wp-content/uploads/2016/01/008.jpg) 


该 系统 包括 用 于 模拟 视觉 场景 的 VR 头 戴 耳 机 、 用 于 产生 气味 的 芳香 扩散 器 、 能 够 通过 振动 产生 咀嚼 声 的 骨 导 传感器 、 用 来 
操作 虚拟 和 物理 食物 的 取 螺 仪 以 及 用 于 提供 口感 和 质感 的 3D 打 印 的 藻类 和 水 胶体 聚合 物 。 在 虚拟 环境 中 ， 该 聚合 物 可 以 被 赋予 
想 要 复制 的 食物 的 气味 、 味 道 和 质感 。 例 如 ， 用 酵母 和 香菇 粉 在 虚拟 牛排 中 再 现 干 式 熟 成 的 风味 。 “滋养 项 目 ” 中 食物 的 主要 成 
分 来 自 荡 类， 由 此 An 发 现 了 另 一 个 好 处 : 减少 对 资源 的 依赖 ， 并 减少 我 们 的 碳 足迹 。 


“滋养 项 目 ” 是 一 款 虚 拟 现实 体验 ; 然而 ， 更 早 的 时 候 (2010 年 ) 东京 大 学 的 一 个 名 为 Meta Cookie[ 潮 的 项 目 也 采用 增强 
现实 技术 改变 了 人 们 对 吃 东 西 的 体验 ， 如 图 5-8 所 示 。Meta Cookie 将 交互 式 嗅觉 显示 器 与 印 有 AR 追踪 目标 的 普通 食用 饼干 结合 
在 一 起 。 头 戴 式 显 示 器 允许 用 户 透 过 它 查 看 AR 中 各 种 各 样 的 饼干 选项 ， 它 们 具有 不 同 的 纹理 和 颜色 ， 与 真实 的 饼干 视觉 上 重 老 
在 一 起 。 当 你 选择 了 自己 想 要 吃 的 饼干 味道 后 ， 系 统 通过 气泵 将 特定 气味 送 入 你 的 鼻子 。 这 一 切 都 会 让 你 感觉 自己 正在 吃 最 喜欢 
的 口味 的 饼干 ， 即 使 真正 的 饼干 只 是 最 基础 的 没有 味道 的 那 一 种 。 如 果 不 喜 欢 你 选择 的 饼干 味道 ， 你 可 以 随时 在 下 一 口 把 它 变 成 
另 一 种 味道 。 事 实 上 ， 最 终 你 可 以 吃 到 一 块 每 一 口 都 能 够 体现 出 不 同 的 味道 的 饼干 一 这 是 完全 定制 化 的 个 人 体验 。 不 过 ,， 值 
得 注意 的 是 ， 只 要 你 吃 了 饼干 上 印 的 AR 符号 的 一 部 分 ， 系 统 就 不 再 起 作用 了 。 





图 5-8: Meta Cookie 的 设计 示例 (https://www.youtube.com/watch?v=3GnQE9cCf84&feature=youtu.be) 


2012 年 ,创建 Meta Cookie 的 同一 研究 小 组 开发 了 “增强 饱 腹 ”， 以 进一步 欺骗 你 的 眼睛 和 味蕾 ， 目 的 是 让 你 减少 食欲 。 
通过 使 用 增强 现实 在 视觉 上 改变 食物 的 感知 尺寸 ，“ 增 强 饱 腹 ” 被 认为 是 降低 肥胖 率 的 有 效 选 择 。 心 理学 研究 者 成 田 成 美 在 
《Augmented perception of satiety: controlling food consumption by changing apparent size of food with 
augmented reality》 虽 中 指出 : 食物 消耗 量 同 时 受 其 实际 体积 和 外 在 因素 的 影响 。 基 于 这 些 知识 ， 研 究 人 员 试图 通过 改变 其 外 
观 尺 寸 来 控制 人 们 对 同样 数量 食物 获得 的 饱 腹 感 的 感知 。 研 究 表 明 ， 这 种 增强 技术 确实 能 够 有 效 控制 饱 腹 感 和 食物 摄 入 量 。 虽 
然 “ 增 强 饱 腹 ” 的 临床 试验 尚未 完成 ， 但 随 着 AR 眼 镜 和 嗅觉 可 穿戴 设备 的 普及 ， 这 种 饮食 方法 有 可 能 会 成 为 日 常生 活 的 一 部 
分 。 


对 于 大 脑 受 创 的 人 来 说 ， 对 饮食 的 感知 成 为 了 一 项 现实 问题 。 当 你 吃 东西 的 时 候 ， 脑 部 受伤 可 能 导致 质地 和 味道 的 混乱 ， 以 
及 对 食物 体 量 的 感知 不 准确 一 一 你 的 感官 可 能 会 使 你 相信 面前 的 食物 比 实际 上 更 大 。2014 年 3 月 ， 在 伦敦 举行 了 一 次 “大 脑 宴 
会 ”[ 半 活动 。 在 那里 ， 各 种 菜 式 都 被 以 一 种 与 会 者 完全 无 法 识别 的 方式 来 豪 饪 和 搭配 。 它 展现 了 脑 外 伤 者 对 熟悉 的 食物 所 体验 
到 的 那 种 陌生 的 难以 形容 的 感觉 。 虽 然 每 人 的 体会 都 有 侧重 点 ， 并 且 与 “大 脑 彭 会 ”所 展示 的 并 不 完全 相同 ， 但 是 “增强 饱 
用 ”和 “滋养 项 目 ”这 种 研究 可 以 进一步 探索 我 们 对 脑 损伤 患者 所 能 提供 的 帮助 ， 同 时 帮助 其 他 人 理解 这 类 外 伤 会 如 何 改变 人 们 
对 世界 的 看 法 。 


[1] http://www.projectnourished.com/。 
[2] https://youtu.be/3GnQE9cCf84。 


[3] https://guerillascience.org/event/brain-banquet/。 


数字 味 党 和 嗅 党 的 未 来 


对 于 增强 现实 研究 人 员 Adrian David Cheok 来 说 ， 数 字 味 党 的 未 来 与 人 脑 密切 相关 。Cheok 之 前 的 研究 为 我 们 带 来 了 
Scentee 等 气味 装置 ， 然 而 ， 他 目前 的 工作 重点 是 直接 刺激 大 脑 重新 产生 对 气味 和 味道 的 感知 ， 而 并 非 将 人 造 的 气味 送 到 使 用 者 
的 鼻子 上 。 


Cheok 融 领 着 马来西亚 Imagineering Institute 研 究 实验 室 的 团队 开发 了 一 种 名 为 “数字 味觉 交互 ”的 设备 ， 该 设备 看 起 来 
像 是 一 个 有 机 玻璃 盒子 ， 你 可 以 用 舌头 贴 上 去 品尝 来 自 互 联网 的 不 同 口 味 。 使 用 电 和 热 刺激 ， 这 款 设备 能 够 暂时 欺骗 你 的 味 党， 
使 你 体会 到 酸味 、 甜 味 、 苦 味 和 咸 味 ， 这 取决 于 通过 电极 的 电流 的 频率 。Cheok 也 正在 设计 一 个 类 似 于 “数字 味觉 交互 ”的 数 
字 嗅 党 系 统 。 该 设备 能 够 将 一 个 微小 的 电极 插入 到 鼻腔 来 刺激 嗅觉 神经 元 。 目 前 ， 该 设备 仍 在 中 试 阶段 。 


“一 旦 可 以 直接 刺激 大 脑 神经 元 ， 我 们 就 可 以 绕 过 身体 上 的 器 官 。” Cheok 说 ，“ 将 来 可 能 并 不 会 有 直接 刺激 身体 器 官 的 
需求 ， 那 样 太 过 低 效 。 我 们 已 经 可 以 以 简单 的 方式 刺激 人 类 神经 元 ， 我 希望 将 来 它 能 够 更 加 复杂 。” Cheok 相 信 我 们 将 会 在 有 
生 之 年 看 到 一 个 直接 与 大 脑 进行 交互 的 界面 。 


在 第 2 章 中 ， 神 经 科学 家 Amir Amedi 讨 论 了 如 何 将 视觉 信息 传递 给 视觉 障碍 者 的 大 脑 ， 以 绕 过 他 们 眼睛 的 问题 。 在 第 3 章 
中 ， 神 经 科学 家 David Eagleman 设 想 了 一 种 未 来 ， 通 过 从 互联 网 直接 提供 实时 数据 传送 到 大 脑 ， 人 类 的 感官 系统 得 以 进一步 扩 
张 ， 我 们 能 够 直观 地 体验 和 感受 这 些 数据 而 不 需要 任何 提前 分 析 。 当 我 们 能 够 绕 开 鼻子 和 舌头 ， 直 接 刺 激 大 脑 产生 嗅觉 和 味觉 
时 ， 将 会 有 什么 新 的 体验 ? 


Cheok 在 《Using mobiles to smell: how technology is giving us our senses》 内 中 说 : “在 所 有 媒体 上 ， 人 们 都 想 重 
新 实现 现实 世界 ，” 他 解释 说 ， 当 电影 技术 第 一 次 对 公众 开放 时 ， 人 们 都 在 拍摄 各 种 城市 街道 。Cheok 继 续 说 道 : “电影 能 
捕捉 这 些 内 容 是 相当 了 不 起 的 ， 但 是 随 着 媒体 的 发 展 ， 它 变 成 了 一 种 新 的 表达 方式 。” 他 相信 味觉 和 嗅觉 也 是 一 样 的 。 现 在 数字 
嗅觉 技术 已 经 开始 发 展 ，Cheok 说 人 们 最 开始 的 设想 是 远程 重 现 气味 ， 比 如 通过 智能 手机 发 送 一 个 带 有 玫瑰 香气 的 虚拟 玫瑰 
( 见 图 5-9) ， 但 他 认为 下 一 个 阶段 会 为 我 们 带 来 新 的 创作 。 





图 5-9: 移动 设备 提供 嗅觉 体验 的 示意 图 (http://www.theneweconomy.com/technology/using-mobiles-to-smell-how-technology-is- 


giving-us-our-senses-video) 


我 们 将 会 拥有 前 所 未 有 的 嗅觉 和 味觉 体验， 文字 与 之 比 起 来 太 过 苍白 ,技术 甚至 能 为 我 们 呈现 在 普通 现实 中 绝 不 可 能 出 现 的 
新 的 气味 和 味道 。 举 个 例子 ，Zachary Howard 设 计 的 Synesthesia Mask[ 潮 可 以 让 你 闻 到 色彩 ， 它 能 够 把 气味 分 配给 颜色 而 不 
是 物体 。 尽 管 Synesthesia Mask 使 用 了 和 泵 设备 将 香味 送 到 自 子 ， 而 非 直接 的 脑 部 刺激 ， 但 是 它 开始 尝试 用 另 一 种 方式 创造 一 个 
新 的 现实 ， 这 个 现实 与 我 们 通常 所 知 的 世界 没有 明显 的 相关 性 ， 现 实 将 被 重新 定义 。 当 我 们 摆脱 对 现实 的 复制 时 ， 增 强 现实 技术 
在 广义 上 将 会 从 模拟 真实 的 负担 中 解放 出 来 ， 创 意 的 大 门将 被 打开 ， 为 我 们 带 来 新 的 表达 模式 和 发 明 创造 。 


[1] https://youtu.be/9vLSuLL9xLA。 
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在 2013 年 的 增强 世界 博览 会 AWE) 年 度 演讲 中 ， 我 选择 只 用 隐喻 来 描述 增强 现实 (AR) ， 并 没有 展示 任何 实际 的 AR 模 
型 。 我 使 用 外 部 图 像 来 刷新 社区 和 工业 界 对 我 们 目前 发 展 的 看 法 ， 重 构 人 们 对 我 们 之 前 需要 (而且 将 来 仍然 需要 ) 的 位 置 的 印 
象 。 在 其 中 一 张 幻灯 片 中 ， 我 展示 了 一 个 透明 的 皮 划 艇 设计 。 透 明 皮 划 艇 可 以 为 这 项 运动 带 来 更 加 身 临 其 境 的 体验 ， 让 其 操作 者 
直接 感受 到 周围 的 环境 。 透 明 皮 划 艇 也 为 我 们 打破 了 传统 上 那 面 无 形 屏障 ， 人 允许 使 用 者 进入 新 的 世界 中 ， 并 借 此 获得 之 前 在 普通 
的 不 透明 皮 划 艇 中 难以 想象 的 视野 和 体验 。 


透明 皮 划 艇 的 典型 功能 就 像 一 扇 敞 开 的 大 落地 窗 ， 用 户 和 相应 的 上 下 文 能 够 在 这 里 共享 相同 的 物理 环境 。 它 能 够 给 人 一 种 错 
党 : 操作 者 自己 被 直接 留 在 环境 中 而 皮 划 艇 “消失 ”了 。 这 个 设计 非常 重要 ， 它 象征 着 新 的 增强 现实 已 经 出 现 ， 用 户 能 够 更 深入 
地 沉浸 和 更 直接 地 参与 其 中 。AR 体 验 一 开始 只 存在 于 电脑 屏幕 上 ， 需 要 笨重 的 台式 机 的 支持 。 现 在 ， 这 项 技术 已 经 能 够 被 迁移 
到 智能 手机 和 平板 电脑 上 ， 并 正在 向 智能 眼镜 和 更 多 可 穿戴 设备 迁移 。 增 强 现实 的 屏幕 终 将 消失 ， 我 们 将 直接 沉浸 在 混合 现实 的 


故事 里 。 借 助 于 以 用 户 为 中 心 的 上 下 文 驱动 的 个 性 化 体验 ， 这 种 身 临 其 境 感 将 被 进一步 丰富 。 


我 们 通过 故事 了 解 世界 。 最 好 的 故事 和 最 好 的 讲述 者 能 够 让 你 沉 入 其 中 ， 就 像 你 真 的 在 故事 中 生活 一 样 。 故 事 也 可 以 使 我 们 
成 为 其 中 的 一 员 ， 透 过 别人 的 眼睛 看 这 个 世界 。 一 个 伟大 的 故事 是 由 内 而 外 的 ， 它 能 够 点 燃 、 唤 起 和 搅动 你 的 内 心 。 它 引发 反 
应 ， 并 收 到 回应 。 它 能 够 改变 我 们 。 通 过 故事 我 们 能 够 感受 不 同 的 事件 、 地 理 位 置 和 时 代 。 


我 认为 增强 现实 是 一 种 虚构 的 存在 ， 为 我 们 讲述 一 个 虚拟 的 故事 ， 它 可 以 是 视觉 的 、 听 觉 的 、 触 觉 的 、 嗅 觉 的， 甚至 是 味觉 
的 。 人 类 的 想象 能 力 是 一 种 非凡 的 力量 ， 它 可 以 给 现实 中 不 存在 的 东西 提供 形象 和 声音 ， 可 以 改变 一 个 人 、 一 个 物体 或 一 个 地 
点 ， 可 以 将 你 传送 到 不 同 的 时 间 和 空间 。 当 我 们 相信 一 个 存在 时 ， 我 们 就 能 够 用 自己 的 想象 对 此 进行 演绎 。 虚 拟 存在 是 学 习 、 游 
戏 、 创 造 和 发 明 的 重要 组 成 部 分 。 它 创建 不 可 能 ， 并 点 燃 新 想法 。 虚 拟 存在 不 仅仅 是 为 孩子 设计 的 ， 它 可 以 是 全 人 类 解决 问题 并 
新 视角 的 有 效 途 径 。 


党 
qd 


增强 现实 是 一 种 新 的 传播 媒介 ， 它 重新 设 定 了 故事 的 叙述 和 体验 方式 ， 甚 至 具有 扩展 人 类 生存 条 件 的 巨大 潜力 。 本 章 中 ， 我 
们 将 探讨 在 这 个 各 种 创新 和 可 塑 的 媒体 层出不穷 的 时 代 ，AR 技 术 如 何 用 新 的 方式 为 我 们 带 来 难以 抗拒 的 故事 体验 。 文 中 将 对 常 
用 演绎 方式 的 主题 和 风格 进行 回顾 ， 并 展示 未 来 一 段 时 间 内 ， 增 强 现实 讲 故事 的 发 展 方向 和 机 制 。 


想象 力 和 创造 力 


自从 我 在 2005 年 首次 发 表 有 关 增 强 现 实 和 演绎 方式 的 演讲 以 来 ,一直 存 在 着 这 样 一 种 观点 : “但 是 ， 在 没有 增强 现实 技术 
的 时 候 ， 如 果 我 想 自行 想象 ， 我 该 怎么 办 呢 ? ”在 我 分 享 LIFEPLUS[ 党 这 个 项 目 (意大利 庞 贝 古城 AR 历 史 娱乐 系统 的 案例 ) 的 时 
候 ， 一 位 观众 提出 了 这 个 问题 。LIFEPLUS 在 视觉 上 重建 了 庞 贝 古城 的 废墟 ， 用 虚构 的 戏剧 性 演绎 模拟 了 古代 人 生活 的 样子 ， 如 
图 6-1 所 示 。 参 观 历 史 遗 址 的 人 们 都 佩戴 了 头 戴 式 显示 器 和 背包 (其 中 包括 电脑 部 件 和 电池 ， 以 支持 增强 体验 ) ， 使 他 们 能 够 观 
察 建筑 内 部 的 增强 结构 ， 体 验 到 虚构 的 历史 人 物 之 间 是 如 何 相互 交流 的 。 





图 6-1: 虚拟 古代 人 类 的 三 维 重建 示意 图 (https://pdfs.semanticscholat.org/c4e0/b957f5cb3e0c77b45931691fac588cd3015a.pdf) 
如 果 想 要 想象 某 件 东西 的 外 观 ， 或 者 是 你 曾经 看 到 过 它 的 样子 ， 你 可 以 自由 地 选择 是 使 用 自己 的 想象 力 ， 还 是 用 技术 来 重新 


创造 视觉 效果 一 一 就 像 你 可 以 在 阅读 一 本 书 或 看 电影 之 间 进 行 选择 一 样 。 当 你 看 电影 或 利用 新 的 演绎 技术 进行 体验 时 ， 并 不 意 
味 着 你 不 再 使 用 你 的 想象 力 。 你 仍然 在 使 用 自己 的 想象 力 ， 以 进一步 扩展 当前 的 经 历 和 体验 。 我 相信 ， 这 才 是 增强 现实 为 我 们 带 


来 的 。AR 不 会 蔡 换 或 取代 人 类 的 想象 力 ， 相 反 ， 它 将 以 新 的 方式 将 我 们 的 想象 力 扩 展 到 学 习 、 设 计 和 共 情 等 方面 ， 甚 至 会 给 创 
造 力 带 来 新 的 价值 。 我 们 的 技术 将 和 我 们 的 想象 力 共同 进步 ， 增 强 现 实 的 发 展 离 不 开 人 类 的 信念 和 想象 力 ， 它 将 会 和 我 们 一 起 创 
造 和 建立 前 所 未 有 的 新 体验 。 


事实 上 ， 我 相信 AR 在 人 类 的 想象 力 和 创造 力 的 提升 上 至 关 重要 ， 并 将 会 为 我 们 带 来 新 的 价值 。 大 多 数 情 况 下 ， 当 拥有 可 用 
的 技术 时 ， 下 一 步 我 们 应 该 做 什么 呢 ? 我 们 需要 并 行 想象 与 之 相关 的 创新 的 可 能 ， 并 构建 相关 的 技术 。 最 好 的 AR 体验 将 是 最 有 
创意 的 。 重 要 的 是 ， 我 们 要 注意 ， 增 强 现实 技术 不 仅 限 于 模仿 现实 ， 也 不 拘泥 于 真实 的 规律 。 这 种 媒介 是 新 的 表达 方式 的 首选 。 
当 技术 变 成 习惯 时 ， 新 颖 独特 的 创造 力 表 达 将 会 继续 为 我 们 带 来 惊喜 。 


我 们 正 处 于 AR 创意 演变 的 开始 阶段 。 在 各 种 蛛丝马迹 中 ， 我 们 可 以 看 到 一 种 具有 独特 风格 的 语言 开始 形成 。 在 发 展 早期 ， 
增强 媒体 的 可 塑性 依然 非常 高 。 我 们 把 它 称 为 “黏土 ”时 期 : 这 是 做 试验 的 时 间 ， 人 们 在 令 人 难以 置信 的 广泛 范围 中 玩 一 个 没有 
规则 的 游戏 。 随 着 时 间 的 推移 ， 体 裁 和 文体 技巧 的 发 展会 越 来 越 困 难 ， 昌 然 不 是 不 可 能 的 ， 但 需要 摆脱 一 些 既 定 惯 例 。 这 类 全 新 
媒体 的 出 现 并 不 经 常 发 生 。 我 们 正 处 在 一 个 开创 性 时 期 ， 其 中 的 探索 和 发 现 不 仅 有 助 于 对 增强 现实 的 进一步 定义 ， 还 有 助 于 对 未 
来 媒体 进行 定义 。 


[1] http://bit.ly/2viJtPD。 


存在 


存在 (presence) 是 虚拟 现实 中 使 用 的 一 个 术语 ， 用 于 描述 在 计算 机 生成 的 虚拟 环境 中 真正 “存在 ”的 感觉 和 知觉 一 一 就 
好 像 它 真 的 在 那里 一 样 。 存 在 度 是 衡量 虚拟 环境 是 否 成 功 使 用 户 沉浸 其 中 的 度量 。 媒 体 理论 家 Matthew Lombard 和 Theresa 
Ditton 将 存在 定义 为 “ 非 调和 幻觉 ”， 在 其 中 “媒体 看 起 来 似乎 是 隐形 的 或 透明 的 ， 就 像 一 扇 敞 开 的 大 窗户 ， 其 用 户 和 内 容 分 享 
相同 的 物理 环境 ”【']。 影 响 存 在 的 因素 包括 视觉 对 齐 的 精度 、 与 环境 的 同步 程度 以 及 环境 对 用 户 的 输入 和 动作 的 响应 速度 。 

如 果 虚 拟 现实 中 的 存在 能 够 给 人 “ 真 的 在 那里 ”的 感觉 ， 那 么 增强 现实 中 的 存在 则 是 虚拟 内 容 与 物理 环境 融合 的 感觉 ， 就 好 
像 虚拟 的 内 容 “ 真 正 的 存在 ”于 你 身边 物理 世界 中 ， 与 周围 环境 融合 在 一 起 。 另 一 种 思考 方式 是 “直接 性 ”。 媒 体 理论 家 Jay 
David Bolter 和 Richard Gruisin 写 道 : “直接 性 逻辑 决定 了 媒介 本 身 应 该 消失 ， 让 我 们 留 在 它 所 展现 的 事物 中 。” Bolter 和 
Gruisin 对 这 一 点 做 了 进一步 的 阐述 : “用 户 不 再 意识 到 自己 面 对 的 是 媒体 ”， 而 是 站 在 “直接 面 对 内 容 ” 的 地 位 上 办。 

我 们 已 经 站 了 起 来 ， 并 开始 自由 地 跳跃 ， 甚 至 跑 动 ， 我 们 相信 ， 增 强 内 容 实际 上 无 处 不 在 ， 就 像 百事 可 乐 在 英国 伦敦 建设 的 
增强 现实 公共 汽车 候车 亭 那 样 ， 毫 无 戒心 的 通勤 者 被 虚拟 的 老虎 、 机 器 人 和 不 明 飞 行 物 吓 到 ， 如 图 6-2 所 示 。 





在 新 技术 中 ， 能 够 在 人 类 感知 中 引起 情绪 和 身体 反应 的 存在 并 不 少见 ;这 种 体验 在 早期 电影 中 也 有 出 现 。 据 说 1895 年 由 
Auguste 和 LouisLumiere 执 导 的 一 部 50 秒 的 电影 《火车 到 达 西 奥 塔 火车 站 》 中 ， 据 说 有 人 因 担心 被 屏幕 上 出 现 的 火车 撞击 而 跳 
出 座位 逃离 剧院 ， 电 影 给 了 观众 身 临 其 境 的 体验 。 电 影 先锋 Georges Mklies 表 示 日 : “火车 冲 向 我 们 ， 好 像 要 离开 电视 屏幕 落 
在 大 厅 里 一 样 。” 法 国 报纸 《中 央 报 》 于 1896 年 7 月 14 日 报道 说 : “观众 本 能 地 退缩 ， 担 心 他们 会 被 面前 的 钢铁 巨人 碾 压 。” 当 
时 的 电影 ， 就 像 现 在 的 AR 一 样 ， 是 一 种 全 新 的 体验 方式 。 今 天 的 AR， 也 像 Lumiere 的 火车 一 样 ， 我 们 也 和 暂时 相信 那个 虚拟 的 僵 
尸 或 者 恐龙 直接 冲 向 了 我 们 ， 只 是 我 们 不 在 剧院 里 一 一 我 们 在 家 里 、 在 工作 或 者 在 繁华 的 街道 上 。 





图 6-2: 候车 者 看 到 飞碟 从 天 上 飞 过 时 惊讶 的 表情 (https://www.youtube.com/watch?v=Go9rf9GmYpMe&zfeature=youtu.be) 


旧时 代 的 新 奇 


影 理 论 家 Tom Gunning 将 早期 电影 作为 一 种 “景点 电影 ”进行 讨论 ， 其 中 “使 画面 移动 的 机 器 是 迷人 的 源泉 ， 而 不 是 主 

题 和 故事 的 代表 ”和 内。 在 AR 的 第 二 次 浪潮 中 ， 我 们 需要 的 诀 穿 是 超越 对 技术 的 迷恋 ， 以 走向 引 人 注 目的 内 容 和 更 有 意义 的 经 验 
本 身 。2005 年 ， 当 我 第 一 次 体验 增强 现实 的 时 候 ， 我 被 这 样 一 个 事实 所 感染 一 一 在 我 的 物理 空间 中 出 现 了 一 些 并 不 存在 的 东 
西 。 这 对 我 来 说 是 前 所 未 见 的 纯粹 魔法 。 演 示 本 身 的 内 容 并 不 令 人 眼花 缠 乱 : 它 只 是 一 个 静态 的 蓝 色 三 维 立 方 体 ， 但 是 这 个 虚拟 
物体 和 它 所 代表 的 技术 力量 击 中 了 我 。 从 逻辑 上 讲 ， 我 知道 立方 体 并 不 在 物理 空间 中 真正 存在 。 然 而 ， 不 知 何故 ， 它 出 现 了 。 我 
问 自己 ,我 们 可 以 用 这 个 立方 体 做 些 什 么 ， 超 越 舞 台 上 的 表演 ， 以 及 我 们 如 何 使 用 这 个 技术 来 对 内 容 进 行 演绎 。 

人 们 面 对 增 强 现 实 或 者 虚拟 现实 的 初 体 验 往 往 非常 强烈 ， 但 随 着 新 鲜 感 的 消逝 ， 我 们 会 逐渐 习惯 眼前 呈现 的 幻觉 ， 体 验 会 慢 
慢 变 差 。 在 麻 省 理工 学 院 出 版 社 于 2014 年 出 版 的 《Virtual Art: lllusion to Immersion》D 中 ， 媒 体 理论 家 和 艺术 史学 家 Oliver 
Grau 讨 论 了 观众 如 何 沉浸 在 全 新 的 视觉 经 验 中 ， 逐 渐 “ 习 惯 这 种 幻 帝 ”， 此 后 ， 这 项 新 媒体 将 不 再 拥有 “ 令 人 迷恋 的 力量 ”。 
Grau 写 道 ， 在 这 个 阶段 ， 媒 体 变 得 “陈旧 ， 观 众 也 变 得 僵硬 ， 不 再 试图 想象 ”， 但 他 指出 ， 现 阶段 “观察 者 选择 接受 内 容 ”。 
就 像 之 前 的 电影 院 一 样 ， 在 增强 现实 中 ， 我 们 需要 将 对 技术 的 依赖 转移 到 观众 身上 ， 为 人 们 带 来 令 人 入 迷 的 体验 和 讲述 令 人 吃惊 
的 故事 。 正 如 Grau 写 道 ， 在 危机 还 没 来 得 及 发 生 之 前 ， 这 是 我 们 探索 AR 中 演绎 能 力 的 关键 时 刻 。 


氛围 和 情境 化 存在 
超越 性 创新 和 创造 有 意义 的 体验 的 一 种 方式 是 连接 用 户 情境 。 “氛围 。 (aura) 是 与 存在 联系 在 一 起 的 另 一 个 术语 。 研 究 


人 员 Blair Macintyre、Maribeth Gandy 和 Jay David Bolter 将 氛围 定义 为 物体 或 地 点 对 用 户 或 用 户 组 的 “文化 和 个 人 意义 ”的 
组 合 中 。 他 们 指出 ， 所 有 的 氛围 都 是 个 人 体验 ， 因 为 它 描述 了 个 人 对 特定 的 物体 或 地 点 的 心理 反应 ; 氛围 是 必 不 可 少 的 ， 


为 “氛围 只 有 在 某 个 人 将 物体 或 场所 连接 到 他 或 她 自己 对 世界 的 理解 时 才 存 在 ”。 入 口 层 的 一 部 分 力量 来 自 于 现实 世界 (例如 物 
体 或 地 点 ) 与 你 带 给 它 的 个 性 化 上 下 文 的 组 合 : 你 的 回忆 、 你 的 故事 和 你 的 体验 。 


我 个 人 认为 ， 在 增强 现实 的 第 二 波 发 展 中 ， 和 氛围 会 对 存在 产生 更 多 的 影响 ， 因 为 它 会 根据 个 人 喜好 和 独特 背景 创造 更 适合 用 
户 的 个 性 化 体验 。Macintyre 等 人 介绍 了 针对 物理 位 置 的 独特 性 展开 研究 的 项 目 : BENOGO ( 身 未 到 ， 意 已 行 ) ， 这 项 研究 能 
够 创造 “更 吸引 人 的 ”虚拟 现实 体验 。 关 于 对 VR 中 “存在 ”的 期 望 ， 他 们 认为 在 这 个 领域 的 研究 在 某 种 程度 上 被 VR 应 用 中 典型 
的 “通用 ”视觉 世界 所 阻碍 ， 实 现存 在 的 最 好 方法 是 将 用 户 置 于 有 意义 的 环境 中 ， 他 们 称 之 为 “情境 化 存在 ”。 


AR 先驱 Ronald Azuma 在 2017 年 5 月 位 于 斯 坦 福 图 像 系统 工程 中 心 的 演讲 中 分 享 了 他 关于 AR 演 绎 能 力 的 想法 ， 表 达 了 他 的 
观点 我 也 完全 同意 这 一 看 法 ) : 增强 现实 中 最 新 最 吸引 人 的 体验 将 是 把 用 户 与 其 意义 链接 起 来 ， 混 合 真实 与 虚拟 。 “如 果 所 有 
的 力量 都 来 自 现实 ， 为 什么 还 要 增强 呢 ? 而 且 ， 如 果 所 有 的 力量 都 来 自 虚拟 世界 ， 为 什么 还 要 增强 现实 呢 ? 为 什么 不 只 是 虚拟 现 
有 


索尼 电脑 娱乐 公司 于 2012 年 推出 的 PlayStation Vita AR 视频 游戏 《现实 战士 》 就 是 一 例 ， 如 图 6-3 所 示 。 他 解释 了 游戏 如 何 
将 真实 世界 作为 背景 ， 而 与 周围 独特 的 环境 毫 不 相干 。 为 了 将 现实 与 游戏 联系 起 来 ， 创 造 出 更 加 身 临 其 境 的 体验 ， 他 建议 让 战斗 
机 驾驶 员 能 够 坐 在 真实 环境 存在 的 座 椅 上 来 攻击 其 他 角色 ， 或 者 将 现实 世界 中 的 砖 墙 整合 到 游戏 中 以 帮助 防御 攻击 。 
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图 6-3: 《现实 战士 > 中， 游戏 者 能 直接 在 自己 家 的 后 花园 里 面 进行 战斗 的 场景 《 


Azuma 在 他 的 演讲 中 讨论 了 增强 现实 中 的 叙事 策略 ， 其 中 有 两 个 重点 : 一 是 强化 ， 二 是 记忆 ， 它 们 在 氛围 和 情境 化 存在 中 
的 重要 性 不 分 伯仲 。 


强化 这 一 战略 本 身 就 展示 了 自己 的 定位 ， 无 论 是 否 被 增强 ， 它 本 身 都 是 足够 强大 的 。 你 可 以 找到 一 种 适当 的 方式 来 增强 某 个 
场所 ， 将 这 个 地 方 的 现实 和 虚拟 进行 混合 ， 使 其 变 得 更 有 影响 力 。Azuma 举 了 葛 底 斯 堡 战役 的 例子 ， 他 表示 ， 如 果 你 杀身 访问 
葛 底 斯 堡 的 实际 场地 ， 便 会 知道 为 什么 这 个 地 方 在 美国 历史 上 如 此 重要 ， 在 这 些 事件 真正 发 生 的 地 方 ， 人 存在 着 强大 的 情感 力量 ， 
能 够 实际 上 影响 人 们 的 体验 。 


他 还 引用 了 Brian August 推 出 的 “110 Stories”。 如 图 6-4 所 示 ，110 Stories 是 一 款 智能 手机 增强 现实 应 用 程序 ， 使 你 5 
以 真正 地 看 到 双子 塔 曾 经 位 立 的 位 置 。Azuma 指 出 了 两 个 他 认为 有 影响 力 的 关键 点 。 第 一 个 是 世界 贸易 中 心 没有 用 照片 来 下 真 


的 呈现 ，August 只 是 用 油画 一 样 的 笔触 在 天 空中 多 勒 了 双子 塔 的 轮廓 。“ 这 在 技术 上 更 容易 ， 但 对 我 来 说 更 加 吸引 人 ， 因 为 它 
与 所 传达 的 故事 相 匹 配 ， 双 子 塔 已 经 不 复 存 在 ,我 们 呈现 的 只 是 它 的 遗址 ”，Azuma 说 。 第 二 个 关键 点 是 你 能 够 利用 应 用 程序 
来 拍摄 增强 照片 ， 并 被 邀请 写 几 行文 字 来 说 明 你 为 什么 拍 这 张 照片 以 及 它 对 你 意味 着 什么 ， 在 项 目 网 站 上 分 享 。Azuma 评 论 
说 ， 这 些 故 事 和 分 享 在 情感 上 带 来 了 令 人 难以 置信 的 体验 。 
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图 6-4: 在 110 Stories 的 手机 应 用 中 ， 人 们 可 以 看 到 双子 塔 曾 经 的 位 置 (http://www.110stories.com/potrtfolio-item/110stories-wtc- 


app/) 


我 认为 强化 策略 是 一 种 用 现实 和 “氛围 ” (用 Macintyre、Gandy 和 Bolter 的 术语 来 说 ) 来 表达 一 个 具体 地 点 的 方 
式 ，“110 Stories” 是 一 个 很 好 的 范例 ， 这 种 增强 的 演绎 方式 可 以 进一步 丰富 我 们 的 体验 。Azuma 提 出 的 第 二 个 策略 是 记忆 ， 
也 是 建立 在 这 个 想法 上 的 。 


Azuma 解 释 阅 ， 记 忆 与 强化 这 两 个 战略 是 类 似 的 ， 除 了 它 更 个 性 化 。 “和 葛 底 斯 堡 这 个 场所 的 含义 是 压倒 性 的 。 每 个 人 都 知 
道 并 能 够 分 享 那个 地 方 所 带 来 的 情感 和 意义 。 但 是 ， 我 可 能 在 斯 坦 福 大 学 和 某 个 朋友 有 一 场 意义 独特 的 邂逅 ， 并 且 对 于 某 些 特定 
的 地 点 ， 我 会 有 不 同 的 记忆 。 ”他 说 。 记 忆 战 略 将 记忆 和 个 人 的 故事 以 及 实际 发 生 的 地 点 相 结 合 。 


Azuma 以 自己 的 婚礼 为 例 ， 毫 无 疑问 他 有 婚礼 的 照片 和 视频 ， 但 是 如 果 他 能 在 事件 发 生 的 地 点 全 面 地 使 用 增强 现实 技术 来 
嵌入 这 些 媒体 呢 ?“ 这 将 是 神奇 的 体验 ! ”他 惊 呼 。 这 种 体验 拥有 强大 的 力量 ， 因 为 对 Azuma 而 言 ， 婚 礼 是 一 个 非常 有 意义 的 
事件 ， 而 他 将 能 够 在 原来 发 生 的 地 方 重 温 它 ， 创 造 出 强烈 的 情境 化 存在 感 。 


Azuma 强 调 说 : “并 非 所 有 的 故事 都 必须 由 专业 的 作者 为 普罗 大 众 撰写 。 有 时 ， 对 我 们 来 说 最 重要 的 故事 是 个 人 的 体验 ， 
只 会 与 家 人 或 朋友 圈 私 密 分 享 。” 我 认为 我 们 要 牢记 这 一 点 ， 因 为 我 们 为 增强 现实 的 演绎 模式 所 设计 的 未 来 中 包括 了 现实 与 个 人 
经 验 的 相互 作用 ， 将 体现 属于 我 们 每 个 人 的 故事 。 


修复 和 超越 旧时 代 


每 种 媒介 都 借鉴 了 之 前 的 媒介 ，Bolter 和 Gruisin 将 此 称 为 修复 。 增 强 现 实 能 够 修复 电影 胶片 和 后 期 特效 ， 而 增强 现实 之 后 


的 媒介 也 会 修复 增强 现实 。 我 们 现在 还 不 知道 这 个 媒介 是 什么 ， 不 过 目前 不 用 担心 ， 如 果 你 好 奇 的 话 ， 我 个 人 的 猜测 是 AR 的 扩 
展 ， 能 够 把 人 脑 和 计算 融合 到 对 世界 更 直接 的 体验 和 感受 中 去 ， 更 加 全 面 地 整合 我 们 所 有 的 感官 。 修 复 的 挑战 是 当 一 项 新 的 媒介 
出 现 后 ， 它 通常 会 重 现 先前 媒介 的 特质 。 这 样 做 的 危险 在 于 新 媒介 关注 的 是 旧 媒 介 的 特点 ， 而 不 是 以 真正 的 创新 为 基础 。 


那么 ， 我 们 该 如 何 推动 媒介 的 发 展 ， 而 不 是 重复 之 前 发 生 的 事情 呢 ? 在 “ 湿 黏 士 ”中 我 们 能 够 找到 很 多 答案 。 这 不 仅 是 各 类 
艺术 家 参与 其 中 的 绝 好 时 机 ， 也 是 新 世界 的 大 门 马上 就 要 打开 的 关键 时 刻 。 新 媒体 的 表达 形式 不 会 在 一 夜 之 间 发 展 ， 电 影 文体 发 
展 的 悠久 历史 就 是 一 个 很 好 的 例子 。 纽 约 大 学 媒体 研究 实验 室 的 Ken Perlin 表 示 [/]: “ 当 爱 迪生 在 19 世 纪 90 年 代 拍摄 早期 电影 
时 ， 他 已 经 拥有 了 制作 好 莱 坞 故事 片 的 大 部 分 技术 。 人 们 花 了 几 十 年 的 时 间 来 站 上 巨人 的 肩膀 ， 完 成 初次 拍摄 、 再 次 拍摄 和 后 期 
编辑 。 这 与 技术 无 天 。 


关于 增强 现实 的 发 展 ， 我 常常 会 想 一 个 问题 : “是 技术 推动 了 故事 的 演绎 ， 还 是 故事 的 演绎 驱动 了 技术 的 发 展 ” ”我 相信 |, 
这 两 者 对 AR 来 说 都 不 可 或 缺 。 在 增强 现实 的 第 一 次 浪潮 中 ， 技 术 占 据 了 领先 的 地 位 ， 但 现在 的 第 二 次 浪潮 中 ， 我 们 看 到 了 由 引 
人 人 入 胜 的 故事 叙述 驱动 的 体验 设计 的 重要 性 。 这 要 求 我 们 建立 增强 现实 作为 媒介 的 独特 特征 : 以 技术 影响 演绎 方式 。 在 这 个 湿 黏 
土 时 期 ， 我 们 也 有 能 力 影响 技术 的 发 展 一 一 定义 我 们 想 要 进 述 的 故事 类 型 ， 并 将 这 些 叙 述 方式 融入 到 技术 中 。 


媒体 理论 家 Steven Holtzman 认 为 ， 重 新 利用 媒介 的 方法 “不 能 利用 媒介 的 特殊 性 质 ”， 而 “ 正 是 这 种 独特 性 质 ， 最 终 将 
定义 全 新 的 表达 方式 。” 四 这 是 一 个 “过 渡 步 又” ， 人 允许 我 们 “在 不 熟悉 的 地 形 上 安全 立足 ”。 但 是 ，Holtzman 强 调 ， 我 们 必 
须 “ 超 越 旧 的 ”去 发 现 新 的 东西 ， 因 为 “就 像 路 标 一 样 ， 重 新 使 用 是 一 个 标志 ， 它 表明 深层 变化 的 弯 道 马上 出 现 ”[l]。 事 实 上 ， 
深层 变化 可 以 看 作 增 强 现实 技术 的 弯 道 ， 尤 其 在 第 二 波 发 展 浪潮 中 。 我 们 可 以 将 AR 的 第 一 波浪 潮 描 述 为 一 个 “过 渡 阶 段 " ， 在 
这 个 阶段 中 ， 我 们 看 到 了 诸如 二 维 视频 在 纸 上 层 层 展开 的 技术 ， 典 型 的 应 用 是 在 增强 书籍 和 报纸 上 ， 我 们 可 以 用 新 的 形式 来 阅读 
这 些 传统 媒介 。AR 的 第 二 次 浪潮 开始 真正 地 “利用 增强 现实 媒介 的 特质 ”一 一 也 就 是 语 境 。 在 我 看 来 ，AR 发 展 的 第 一 波 是 新 的 
阅读 方式 ， 为 我 们 带 来 新 鲜 的 体验 一 一 这 在 新 媒体 中 很 常见 ， 也 是 第 二 次 浪潮 建立 新 的 演绎 方式 的 必 经 之 路 。 


独特 的 媒体 


在 《The Cinema as a Model for the Genealogy of Media》 中 中， 媒体 理论 家 AndréGaudreault 和 Phillipe Marion 讨 
论 了 电影 天 生 的 “本 质 ”: “行为 的 捕捉 和 重 现 是 媒介 技术 的 核心 。 最 重要 的 是 ， 这 种 技术 先天 具有 讲 故事 的 能 力 ， 它 能 够 以 在 
屏幕 上 显示 移动 的 图 像 的 方式 持续 的 展示 动作 。” 在 早期 的 增强 现实 工作 中 ， 我 认为 AR 和 电影 一 样 ， 也 天 生 具 有 讲 故 事 的 能 
力 ， 它 借助 对 图 像 独特 的 投影 和 赦 加 方式 ， 以 全 新 的 形式 对 时 间 、 空 间 和 物理 环境 进行 展现 。 我 的 首 个 AR 艺术 品 原型 侧重 于 使 
用 视频 的 电影 叙事 体验 ， 在 其 他 人 专注 于 使 用 3D 模 型 的 时 候 ， 这 种 方法 是 独一无二 的 。 


我 仍然 相信 ， 增 强 现实 天 生 具 有 高 质量 的 叙事 能 力 ; 不过， 我 认为 这 种 能 力 超越 了 第 一 波 AR 能 够 为 我 们 提供 的 去 加 服务 的 
质量 。 增 强 现实 的 可 能 性 远 远 超出 了 投影 图 像 的 范围 ， 正 在 转向 强调 实时 的 意识 、 翻 译 、 沉 浸 感 、 感 官 整合 以 及 对 真实 世界 的 全 
面 了 解 。 正 如 我 们 在 前 面 章 节 中 看 到 的 那样 ，AR 的 第 二 波浪 潮 正 在 利用 多 个 传感器 和 检测 能 力 ， 为 我 们 带 来 新 的 认 知 能 力 和 沉 
浸 体验 。 我 们 将 对 用 户 的 环境 不 断 地 进行 分 析 ， 以 提供 最 好 的 与 语 境 相关 的 体验 ， 而 不 是 为 每 个 人 提供 完全 相同 的 规定 内 容 。 


在 《Video: From Technology to Medium》 [0 中 ，Yvonne Spielmann 讨 论 了 媒介 如 何 “ 从 一 种 新 颖 技术 的 出 现 ， 通 
过 特定 的 媒介 语言 进行 表达 ”和 这 种 媒介 所 特有 的 “美学 词汇 ”。 她 特别 撰写 了 关于 视频 的 文章 ， 其 中 指出 : “一 旦 实现 了 这 种 
媒介 特有 的 表达 手段 ， 视 频 就 成 为 了 一 种 可 以 与 其 他 已 有 媒体 区 分 开 来 的 媒介 。”Spielmann 指 出 了 视频 与 电视 等 其 他 媒体 形式 
享 了 什么 样 的 技术 特征 ， 这 些 技术 特征 如 何 建立 在 它们 的 特点 之 上 ， 以 及 视频 中 的 图 像 如 何 区 别 于 其 他 媒体 形式 。 这 些 都 是 在 


重 整 过 程 中 关于 增强 现实 的 重要 问题 ， 体 现 了 如 何 通 过 媒体 的 特殊 性 和 创新 的 表达 方式 ， 将 AR 与 现 有 的 媒介 形式 区 分 开 来 。 


让 我 们 来 看 看 增强 现实 如 何以 电影 为 媒介 。AR 与 电影 共享 表达 方式 的 第 一 波浪 潮 是 通过 后 期 编辑 和 艺术 决策 ， 使 用 动画 、 
音频 和 录音 等 多 媒体 组 件 作为 展示 手段 ， 以 讲述 现实 或 想象 、 纪 录 片 或 科幻 的 故事 。 它 建立 在 电影 的 基础 上 ， 通 过 将 多 种 可 能 | 
动态 地 实时 扩展 到 (现在 可 能 用 作 屏 幕 或 活动 地 点 的 ) 任何 物理 表面 或 环境 。 增 强 现 实体 验 与 电影 在 叙述 方式 上 有 着 微妙 的 区 
别 ， 它 在 一 个 新 的 时 空 设 定 中 呈现 这 些 故 事 ， 实 时 地 将 原 处 的 信息 与 本 地 进行 融合 ， 在 现实 世界 中 实现 情境 关联 。 


这 并 不 意味 着 AR 需要 或 将 会 与 其 他 媒体 隔离 开 来 : 它 可 以 和 其 他 媒体 很 好 地 合作 ， 其 他 媒体 也 会 乐于 与 之 合作 共同 探索 。 
例如 ，2016 年 6 月 ，Lucasfilm 工 业 光 学 魔法 体验 实验 室 (ILMxLAB) 宣布 与 Magic Leap 合 作 。ILMxLAB 于 2015 年 成 立 ， 致 力 
于 为 虚拟 现实 和 增强 现实 等 沉浸 式 平台 创造 体验 。 结 合 Magic Leap 的 秘密 技术 ， 他 们 将 共同 开发 与 《星球 大 战 》 相 关 的 内 容 。 
Magic Leap 公 司 总 裁 兼 首席 执行 官 Rony Abovitz 在 与 Lucasfilm 的 ILMxLAB 合 作 的 Magic Leap 合 作 伙伴 现场 讲 道 [1]: “我 们 
无 时 无 刻 不 在 测试 这 些 演绎 方式 ， 试 图 让 混合 现实 不 再 仪 仅 是 创新 体验 ， 而 是 一 个 能 让 电影 制作 者 和 他 人 在 其 中 创造 真实 的 体验 

(例如 为 《星球 大 战 》 添 加 物体 或 者 更 改 属性 ) 的 宇宙 。”1LMxLAB 的 执行 创意 总 监 John Gaeta 进 一 步 前 述说 : 


本 质 上 来 说 ， 它 为 我 们 带 来 的 是 演绎 模式 的 新 体验 和 未 来 发 展 。 在 我 们 的 理解 中 ， 这 些 新 兴 平 台 都 是 关于 体验 的 一 一 关于 你 
个 人 的 体验 ， 关 于 将 你 传送 到 一 个 宇宙 中 从 而 让 故事 围绕 着 你 发 生 。 我 们 将 在 这 个 实验 室 里 探索 这 种 新 的 演绎 形式 。 





另 一 种 思考 增强 现实 的 方法 是 将 它 作 为 传统 媒体 格式 有 机 组 合 的 一 种 形式 。 互 联网 是 其 他 媒体 (音频 、 视 频 、 印 刷 品 等 ) 的 
交流 媒介 ， 但 它 仍然 拥有 自己 的 风格 语言 和 演绎 模式 。 例 如 ， 为 网 络 写作 的 周期 通常 比 传统 印刷 品 短 ， 虽 然 报 纸 文章 可 以 在 网 上 
重新 发 布 ， 但 网 络 作品 仍然 有 更 快 的 迭代 速度 。 增 强 现 实 就 像 互 联网 一 样 ， 它 融合 了 先前 的 媒体 ， 将 它们 以 新 的 风格 有 机 结合 在 
一 起 。 来 自 Magic Leap 的 HoloLens 和 其 预告 片 已 经 为 我 们 演示 了 如 何在 增强 现实 中 使 用 任意 平面 模拟 电子 邮件 甚至 电影 的 屏 


传统 媒体 格式 需要 被 放 在 增强 现实 新 媒介 的 情境 中 重新 思考 ， 尤 其 是 在 用 户 体 验 的 角度 。 传 统 规则 不 仪 不 再 适用 于 新 的 格式 ， 而 
且 实 际 上 可 能 并 不 有 效 。 因 为 这 一 切 都 是 全 新 的 ， 我 们 有 机 会 去 定义 新 的 体验 。 


讲 故事 的 惯例 : 去 过 哪里 


那么 ， 在 增强 现实 的 演绎 方式 中 ， 形 成 了 什么 样 的 规则 和 风格 呢 ? 它们 又 是 怎样 发 展 的 ?在 过 去 的 12 年 中 ， 我 在 AR 技术 路 
线 中 观察 到 了 一 些 重复 出 现 的 描述 方法 。 首 先 值得 注意 的 是 ， 这 是 一 门 新 的 视觉 语言 ， 尽 管 “ 看 起 来 像 什么 ”只 是 增强 现实 中 的 
一 部 分 。 正 如 前 面 章节 所 讨论 的 那样 ，AR 不 仅 限 于 视觉， 我 们 还 将 看 到 不 同 风格 和 感官 演绎 的 发 展 ， 璧 如 嗅觉 、 味 觉 、 触 觉 和 
听觉 ， 以 及 多 种 感官 的 组 合 。 就 这 一 部 分 的 重点 而 言 ， 由 于 迄今 为 止 增强 现实 的 大 部 分 项 目 经 验 都 是 视觉 上 的 ,我 们 会 先 讨论 可 
视 化 的 演绎 方式 。 


1. 虚 拟 试 穿 

虚拟 试 穿 可 以 让 你 成 为 故事 的 一 部 分 。 无 论 是 戴 上 虚拟 面具 ， 在 脸 上 画 满 油彩 ， 穿 特定 的 衣服 还 是 拿 上 道具 ， 这 些 打扮 都 会 
让 人 想起 角色 扮演 ， 让 你 变 成 别人 ， 甚 至 是 别 的 东西 。2013 年 ， 迪 士 尼 联 手 英 国 的 Apache， 创 造 了 一 款 增 强 现实 体验 ， 能 够 通 
过 对 托尼 .斯 塔 克 的 钢铁 侠 3 套 装 的 虚拟 试 穿 济 ， 让 用 户 变 成 钢铁 侠 。 系 统 使 用 Kinect 测 量 你 的 身体 比例 ， 为 你 设计 完美 的 Mk 
XLII 套 装 。 然 后 ， 你 可 以 看 着 自己 在 面前 的 屏幕 上 变 身 为 钢铁 侠 ， 并 能 够 测试 虚拟 套装 的 特有 功能 。 


“虚拟 试 穿 ” 不 仅 限 于 电影 角色 的 服装 : 它 还 可 用 于 零售 体验 ， 如 服装 、 眼 镜 、 珠 宝 和 化 妆 品 等 产品 的 购买 。 它 指向 了 一 个 
由 你 驱动 并 关注 于 你 、 基 于 个 性 化 背景 故事 的 叙述 机 制 : 你 是 系统 天 注 的 主题 ， 是 虚拟 世界 的 明星 。 “虚拟 试 穿 ” 中 十 分 强调 存 


在 ， 因 为 它 是 定制 化 的 一 一 你 的 身体 已 成 为 试 穿 体验 的 一 部 分 ， 增 强 后 的 内 容 被 投影 到 你 身边 ， 与 周围 的 环境 紧密 相 融 。 


snapchat 的 “镜头 ”也 是 一 项 有 趣 的 体验 ， 它 使 用 智能 手机 上 的 前 置 摄像 头 ， 以 短 动 画 的 形式 实时 将 增强 图 像 投 影 到 你 的 
脸 上 。 “镜头 ”不 断 更 新 ， 能 够 带 来 的 娱乐 场景 范围 极其 广泛 ， 它 能 够 将 你 变 成 一 只 老鼠 在 一 块 奶酪 上 哨 食 ， 能 为 你 戴 上 一 个 由 
舞 的 蝴蝶 形成 的 冠 蝎 ， 甚 至 能 让 你 和 一 个 朋友 交换 面孔 。 要 知道 ，“ 虚 拟 试 穿 ” 中 增强 现实 的 潜力 不 仅仅 是 让 人 成 为 预先 存在 
的 角色 : 我 们 可 以 将 AR 作为 另 一 种 表达 自己 的 方式 ， 表 现 我 们 对 时 尚 的 态度 。 我 们 可 以 用 这 种 演绎 方式 来 凸显 个 人 创造 力 和 想 
像 力 ， 利 用 我 们 选择 的 风格 向 其 他 人 展示 自己 ， 模 糊 我 们 的 虚拟 化 身 和 物理 身体 之 间 的 界限 。 在 2017 年 ，Facebook 发 布 了 增强 
现实 平台 AR Studio， 使 艺术 家 和 开发 人 员 能 够 创建 AR 面具 ， 向 探索 这 种 自我 表达 迈 出 了 新 的 一 步 。 


2. 墙 、 地 板 或 桌子 上 的 洞 


“ 墙 上 的 洞 ”这 种 叙事 风格 有 助 于 通过 使 用 视 错 党 来 使 虚拟 内 容 进入 你 的 物理 空间 。 在 增强 现实 游戏 中 很 常见 ， 它 是 一 种 将 
虚拟 故事 元 率 与 物理 环境 融合 在 一 起 的 视觉 技术 ， 以 增强 虚拟 内 容 的 存在 感 ， 并 进一步 将 用 户 融入 到 展现 在 其 身边 的 故事 中 。 这 
个 做 法 借鉴 了 传统 的 错 视 画 ， 比 如 Pere Borrel Del Caso 于 1874 年 所 作 的 《逃离 批评 》， 在 这 幅 禄 框 画 中 ( 见 图 6-5) ， 一 个 年 
轻 的 男孩 似乎 正在 走 来 ， 打 破 现实 的 界限 ， 从 而 进入 你 的 空间 。 


我 们 在 增强 现实 中 看 到 了 这 种 视觉 错觉 的 效果 ， 例 如 Int13 的 Kweekies 注 和 HoloLens 的 RoboRaid 注 。Kweekies 是 一 个 移 
动 版 增强 现实 桌面 体验 ， 使 用 印刷 的 AR 标记 来 触发 舞台 ， 虚 拟 角色 从 舞台 后 款 款 走出 ， 然 后 转身 返回 。RoboRaid 是 一 款 由 
HoloLens 开 发 的 射击 游戏 ， 在 这 个 游戏 中 ， 你 可 以 通过 击败 机 器 人 的 入 侵 来 捍卫 你 的 家 园 ， 你 能 看 到 机 器 人 破门 而 入 ， 你 的 家 
里 中 环绕 着 玻璃 破碎 和 摇摇欲坠 的 声音 ， 这 一 切 进一步 提升 了 游戏 的 吸引 力 ， 让 人 沉浸 其 中 。 


图 6-5: 《逃离 批评 》 画 作 (htt 
) 


我 们 可 以 将 这 些 AR 叙 述 风格 中 的 大 部 分 (甚至 全 部 ) 作为 “特效 ”的 一 种 形式 来 思考 一 一 尤其 是 “ 墙 上 的 洞 ”。 它 为 我 们 
带 来 了 更 好 的 可 信和 度 和 更 高 级 的 存在 感 ， 但 是 这 个 带 点 喷头 的 比喻 可 能 会 过 时 。 这 项 概念 的 下 一 个 有 潜力 的 突破 点 可 能 来 自 于 
MIT 媒 体 实验 室 的 研究 人 员 Daniel Leithinger、Sean Follmer、Alex Olwal、Akimitsu Hogge 和 Hiroshi lshii 于 2013 推 出 的 





inFORM (动态 形状 显示 ) 这 样 的 例子 ， 如 图 6-6 所 示 。 





图 6-6: inFORM 系 统 中 ， 远 程 操作 物体 (http://tangible.media.mit.edu/project/inform/) 


inFORM 能 够 在 物理 上 泻 染 并 呈现 3D 内 容 ， 因 此 用 户 可 以 以 有 形 的 方式 与 数字 信息 进行 交互 。 在 这 项 技术 的 某 个 示范 案例 
中 ， 一 个 活生生 的 人 出 现在 屏幕 上 ， 他 的 手 伸 出 屏幕 (通过 移动 真实 的 小 方块 实时 表示 ) ， 在 桌面 上 推动 一 个 物理 上 存在 的 球 。 
研究 人 员 指 出 : “视频 会 议 中 的 远程 参与 者 可 以 在 物理 上 进行 展示 ， 这 使 他 们 有 强烈 的 存在 感 和 远 距 离 互动 的 能 力 。 ”在 
inFORM 的 支持 下 ， 虚 拟 角色 不 仅 可 以 突破 物理 边界 出 现在 你 的 空间 ， 在 这 个 例子 中 ， 我 们 甚至 看 到 虚拟 角色 开始 能 够 与 真实 世 
界 进行 交互 甚至 改变 物理 上 的 存在 ， 而 不 仅仅 作为 一 种 视觉 效果 存在 。 


3. 幽 灵 


人 类 是 没有 办 法 看 见 幽灵 的 ， 它 们 并 不 存在， 而 又 无 处 不 在 ; 它们 无 视 一 切 物理 规律 ， 球 在 空中 ， 穿 越 物 体 。 幽 灵 是 增强 现 
实 中 一 项 特殊 的 故事 元 素 和 技术 主题 。 在 AR 技术 出 现 早期 的 一 段 时 间 中 ， 幽 灵 出 现 (就 像 加 拿 大 多 伦 多 XM G 工 作 室 的 《 捉 鬼 敢 
死 队 超自然 爆炸 》 一 样 ) 的 效果 特别 好 ， 因 为 这 类 追踪 和 计算 机 视觉 技术 不 需要 完全 准确 : 这 种 不 精确 不 一 定 会 打破 AR 体验 的 
幻觉 ， 因 为 我 们 期 望 中 的 幽灵 就 是 不 可 预测 的 ， 现 实 世 界 中 的 典型 规则 不 再 适用 。 使 用 增强 现实 技术 “看 到 ”和 展示 幽灵 这 方面 
的 设计 也 运作 良好 ， 增 强 现实 为 我 们 提供 了 另 一 个 维度 一 肉眼 无 法 进入 的 世界 。 


幽灵 的 存在 展现 了 增强 现实 技术 中 对 幻想 和 超 现实 演绎 的 机 会 。 我 们 的 技术 并 不 限于 重 现 现实 ， 为 什么 不 用 AR 来 呈现 一 些 
在 真实 世界 中 不 可 能 实际 体验 到 的 东西 呢 ? 


4. 活 动 图 片 


活动 图 片 展示 了 增强 现实 的 神奇 世界 ， 就 像 《 哈 利 波 特 》 故 事 系列 中 的 人 物 肖 像 一 样 ， 画 中 的 人 物 在 绘画 场景 和 外 部 世界 


中 自由 移动 和 交互 。 随 着 活动 图 片 成 为 演绎 方式 的 一 个 惯例 ， 这 一 无 生命 的 存在 现在 变 得 生气 勃勃 ， 不 断 涌 入 我 们 的 生活 。 它 将 
生命 赋予 了 那些 被 认为 是 静止 的 或 是 冻结 的 东西 ， 并 且 为 我 们 打开 了 进入 另 一 个 世界 的 大 门 一 一 这 个 世界 里 面 的 内 容 正在 活跃 


我 们 在 增强 现实 杂志 中 常常 看 到 这 种 演绎 方式 。 例 如 ， 杂 志 封 面 上 的 静物 照片 被 换 成 了 幕后 拍摄 的 AR 视频 或 与 照片 中 的 人 
的 面谈 。 早 期 支持 AR 的 杂志 之 一 是 《时 尚 先生 》， 在 它 2009 年 出 版 的 一 期 杂志 中 的 封面 人 物 是 演员 小 罗伯特 - 唐 尼 。 这 项 体验 要 
求 在 你 的 计算 机 上 下 载 一 款 AR 插 件 ， 并 将 摄像 头 对 准 杂 志 ， 以 在 计算 机 屏幕 上 查看 AR 内 容 。 在 增强 现实 模式 中 ， 小 罗伯特 - 唐 尼 
和 整个 杂志 的 广告 都 通过 视频 和 动画 棚 棚 如 生地 呈现 出 来 。 


在 过 去 的 几 年 中 ， 数 字 化 的 趋势 已 经 出 现在 为 增强 现实 技术 之 外 的 其 他 静态 照片 描绘 动作 上 。 数 字 照 片 处 理 的 这 种 转变 模糊 
了 动画 、 视 频 和 摄影 之 间 的 界限 。 例 如 ， 在 使 用 Flixel[ 尘 这 类 软件 创建 的 cinemagraphs 中 ， 殉 止 照片 的 独立 元 素 可 以 是 动态 
的 ， 例 如 让 图 片 中 模特 的 长 发 被 微风 吹 散 开 来 。2015 年 在 iPhone 6S 上 推出 的 Apple Live Photo 中 ， 设 备 录 取 了 拍照 瞬间 的 前 
后 几 秒 钟 ， 让 用 户 能 够 生动 地 重 现 拍摄 时 刻 的 体验 。 


这 些 例 子 中 都 告诉 我 们 演绎 方式 快速 友 展 的 时 期 来 临 了 。 它 们 以 介 于 视频 剪辑 和 翻 页 动画 之 间 的 短片 形式 出 现 ， 能 够 为 我 们 
带 来 更 多 的 信息 。 无 论 是 在 广告 、 艺 术 还 是 教育 领域 ，“ 活 动 图 片 ”这 一 演绎 模式 都 为 我 们 提供 了 分 享 位 于 故事 背后 的 更 多 细节 
的 机 会 。 


5. 透 视 视觉 


一 半 超 级 英雄 的 权力 加 上 一 半 的 插 科 打 译 ， 这 个 讲 故 事 的 习俗 让 人 想起 在 20 世 纪 60 ~ 70 年 代 的 漫画 书 背后 做 广告 的 X 射 线 眼 
镜 : “看 到 手掌 中 的 骨头 ， 穿 透 厚 厚 的 衣服 ! ”透视 视觉 已 在 增强 现实 中 实现 了 广告 中 的 透视 模特 ,例如 ，Moosejaw X-Ray 应 
用 程序 允许 用 户 通过 浏览 器 目录 直接 欣赏 各 款 外 衣 造 型 下 模特 的 内 衣 穿 着 效果 ， 也 例如 各 种 有 助 于 解剖 学 教育 的 研究 ， 其 中 包括 
Daqri 的 解剖 学 4D 模 型 ， 以 及 HoloLens 与 凯 斯 西 储 大 学 展开 的 致力 于 更 好 的 医学 教育 的 合作 ， 如 图 6-7 所 示 。 





图 6-7: HoloLens 与 凯 斯 西 储 大 学 合作 开发 的 医学 教育 设备 ， 能 够 让 使 用 者 一 层 一 层 地 看 清 人 类 的 骨骼 、 神 经 和 肌肉 


(https://www.youtube.comy/watchpv=SKPKlh1-en0&cfeature=youtu.be) 


这 种 演绎 方式 也 可 以 应 用 于 博物 馆 和 那些 相对 脆弱 的 文物 展览 。 伦 敦 大 英 博 物 馆 于 2014 年 开展 的 “ 旧 的 生活 ， 新 的 发 
现 ”[ 潮 引入 了 交互 式 视频 监控 器 (不 是 AR 技术 ) ， 用 它 可 以 将 埃及 木乃伊 的 外 壳 层 层 剥 开 。 博 物 馆 利用 CT 扫描 仪 开发 了 三 维 图 
像 ， 详 细 地 展示 了 装饰 华丽 的 石棺 内 藏 着 什么 。 这 种 体验 也 可 以 通过 使 用 增强 现实 技术 实现 ， 例 如 使 用 AR 眼 镜 、 智 能 手机 或 平 
板 电脑 (而 不 是 展品 上 方 的 屏幕 ) 直接 观察 石棺 ， 并 借助 3D 模 型 剥离 各 层 以 探索 知识 的 神秘 。 


无 论 是 透 过 脆弱 的 博物 馆 展 品 ， 还 是 通过 人 类 的 皮肤 和 衣服 ， 增 强 现实 中 的 透视 视觉 都 象征 着 技术 已 超越 了 人 类 自然 能 力 。 
这 个 例子 告诉 我 们 ，AR 能 够 扩大 人 们 的 想象 力 ， 使 人 们 能 够 看 到 之 前 看 不 见 的 东西 。 它 已 经 不 再 仪 仪 是 一 个 曹 销 咯 头 ， 而 成 为 
了 一 个 强大 的 演绎 方式 一 一 尤其 是 在 教育 领域 ， 它 使 用 户 能 够 轻松 地 透 过 表象 ， 安 全 地 了 解 相关 的 主题 。 


6. 三 维 绘图 


这 种 演绎 风格 是 用 熟悉 的 方式 探索 和 创作 属于 你 自己 的 现实 : 用 你 的 双手 绘画 并 为 之 着 色 。Scraw|[ 演 是 由 String 于 2010 创 
建 的 实验 性 AR 绘图 应 用 。 该 应 用 程序 允许 任何 拥有 iPhone 的 人 在 没有 任何 编码 经 验 的 情况 下 快速 创建 一 些 东西 一 一 只 需 用 手指 
把 它们 画 出 来 即 可 。 在 应 用 程序 的 调 色 板 中 你 可 以 选择 不 同 的 颜色 和 画笔 ， 然 后 使 用 手指 在 iPhone 屏幕 上 绘制 三 维 图 像 。 然 
后 ， 你 可 以 拖 动 三 维 AR 图 形 ， 从 不 同 角度 查看 。scraw| 使 用 了 我 们 可 能 拥有 的 最 好 的 工具 之 一 : 自己 的 手指 ， 在 增强 现实 中 无 
障碍 地 提供 了 充满 创造 力 的 玩乐 体验 。 在 第 4 章 中 ， 我 们 也 展示 了 在 String 的 AR 技术 支持 下 由 James Alliban 设 计 的 实时 反应 增 
强 现 实体 验 Konstrukt， 这 款 体验 的 交互 方式 并 非 手 指 ， 它 可 以 通过 说 话 、 吹 口哨 或 者 向 麦克 风 里 吹 气 来 创建 虚拟 雕塑 设备 。 





Quiver (以 前 称 为 ColAR) 是 一 款 在 新 西 兰 人 机 交互 技术 实验 室 (HIT Lab NZ) 开发 的 三 维 AR 着 色 应 用 程序 ， 由 Puteko 
Limited 于 2011 年 进行 商业 化 。Quiver 首 先 从 应 用 程序 或 网 站 打印 着 色 页 。 然 后 ， 你 可 以 使 用 自己 喜欢 的 任何 物理 工具 : 水 笔 、 
油画 笔 、 铅 笔 或 蜡笔 等 。 当 着 色 完 成 后 ， 你 可 以 使 用 手机 或 平板 电脑 ， 在 增强 现实 技术 的 帮助 下 以 三 维 方式 查看 二 维 页 面 。 被 你 
杀手 涂 上 颜色 的 角色 或 物体 动 了 起 来 ， 从 页 面 中 跳 入 现实 世界 ， 从 不 同 的 角度 向 你 展示 自己 ， 如 图 6-8 所 示 。 
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图 6-8: 利用 Quivet 应 用 ， 把 二 维 图 画 转 换 到 三 维 空间 中 (http://www.quivervision.com) 


scrawl 和 Quiver 演 示 了 如 何在 增强 现实 中 进行 表达 。 这 是 一 个 可 持续 发 展 的 领域 ， 能 够 使 所 有 类 型 的 创作 者 (不 仅仅 是 计 
算 机 程序 员 ) 都 能 够 在 增强 现实 中 创造 自己 的 作品 。 这 两 个 应 用 程序 都 使 用 人 们 熟悉 的 与 世界 进行 交互 的 方式 : 用 双手 绘画 和 着 


色 ， 同 时 借助 增强 现实 技术 来 提供 更 好 的 体验 和 进一步 的 创造 力 以 及 想象 力 。 


[1] http://apache.co.uk/work/disney-become-irom-man/ 。 
[2] httb://youtu.be/Te9gj22M_aU。 

[3] http://youtu.be/HfoqkURqtbM。 

[4] https:/ /flixel.com/。 

[5] http://bbc.in/2vwn3L4。 

[6] http://vimeo.com/16430181。 


演绎 风格 : 新 兴 时 代 


现在 。 让 我 们 来 看 看 增强 现实 中 新 兴 的 其 他 叙事 方法 。 
1. 抽 象 艺术 AR 滤 镜 


视 党 滤 镜 以 及 其 在 类 似 Instagram 这 样 的 照片 编辑 工具 中 的 广泛 应 用 已 经 变 得 司空 见 惯 ， 可 以 说 在 艺术 上 改变 了 我 们 的 现 
实 。 这 也 是 我 们 在 增强 现实 中 看 到 的 。 在 AR 的 演绎 中 ， 并 不 局 限于 以 真实 的 方式 准确 地 表现 现实 : 抽象 艺术 AR 滤 镜 提供 了 一 种 
创造 性 地 实时 表达 我 们 看 到 的 世界 的 方式 。 


2005 年 ， 我 在 波士顿 的 IJGGRAPH (一 年 一 度 的 顶级 计算 机 图 形 学 会 议 ， 将 科学 家 、 工 程 师 和 艺术 家 聚集 在 一 起 ) 中 ， 第 
一 次 遇 到 了 对 抽象 AR 滤 镜 的 使 用 以 及 来 自 新 西 兰 人 机 交互 实验 室 的 演示 样 例 。 这 项 演示 引入 了 各 种 各 样 的 绘画 滤 镜 ， 实 时 地 对 
现实 存在 进行 泻 染 ， 从 纹理 效果 到 色温 ， 到 应 用 于 虚拟 对 象 和 物理 环境 的 整个 场景 的 高 斯 模糊 。 这 些 滤 镜 将 所 有 这 些 元 素 都 融合 
到 一 个 世界 中 ， 让 我 们 很 难 区 分 虚拟 元 素 和 物理 元 素 。 


演示 的 目标 是 增加 沉浸 感 ， 并 在 增强 现实 中 展现 新 的 演绎 模式 。 值 得 注意 的 是 ，2005 年 的 这 次 演示 使 用 了 基准 标记 ( 印 在 
纸 上 的 黑白 形状 ) 来 触发 AR 对 象 。 使 用 这 种 形式 的 跟踪 时 ， 用 户 通常 在 整个 AR 体验 中 都 可 以 看 到 基准 标记 的 白色 边缘 ， 即 使 在 
其 上 方 呈 现 虚 拟 物体 的 时 候 。 通 过 将 这 些 绘画 滤 镜 实时 地 应 用 于 整个 场景 ， 有 助 于 遮蔽 基准 点 并 在 虚拟 物体 和 物理 存在 之 间 创 建 
连续 性 ， 进 一 步 使 用 户 沉浸 其 中 。 随 着 技术 的 发 展 ， 现 在 我 们 不 再 需要 基准 点 就 可 以 跟踪 普通 的 物理 对 象 、 图 像 和 位 置 ， 从 而 释 
放 了 抽象 艺术 AR 滤 镜 在 这 方面 的 工作 ， 让 它 能 够 专注 于 更 具 创造 性 的 表达 。 


Spectacle 注 是 由 Cubicle Ninjas 在 2016 年 创建 的 一 款 创意 应 用 程序 ， 它 使 用 Samsung Gear VR 耳机 的 直通 式 相 机 提供 了 
50 种 不 同 的 滤 镜 ， 以 增强 用 户 身边 的 物理 环境 。 它 也 可 以 让 你 随时 拍照 。 与 新 西 兰 人 机 交互 实验 室 的 演示 不 同 ， 虚 拟 的 那 部 分 
没有 被 添加 到 场景 中 ， 只 是 在 现实 存在 上 附加 了 一 层 实时 滤 镜 效果 ， 但 它 仍然 暗示 着 未 来 的 增强 现实 体验 会 带 来 什么 。 


另外 两 个 引入 了 抽象 滤 镜 或 者 说 “风格 转换 ”的 非 AR 应 用 程序 是 Prisma Al[ 潮 和 Artisto[ 汰 。Prisma 是 一 个 照片 编辑 应 用 ， 

你 可 以 从 智能 手机 或 平板 电脑 的 图 像 库 中 选择 一 张 照 片 ， 或 使 用 相机 直接 拍摄 一 张 ， 然 后 选择 来 自 毕加索 、 莫 奈 、 梵 高 和 康定 其 
基 等 艺术 大 师 的 33 种 不 同 渡 镜 之 一 ， 对 其 进行 后 其 处理。 根据 Prisma 的 首席 执行 官 兼 联合 创始 人 Alexey Moiseenkov 的 说 

法 ，Prisma 使 用 三 个 神经 网 络 分 别 执行 不 同 的 任务 ， 从 分 析 图 像 到 提取 艺术 风格 ， 并 将 其 应 用 于 给 定 的 图 片 。Moiseenkov 

说 (1: “Prisma 使 用 Al 技术 ， 快 速 地 将 你 的 照片 变 成 创意 作品 的 素材 。 我 们 并 非 只 是 像 Instagram 提 供 的 滤 镜 一 样 为 照片 上 覆 
盖 特 效 ， 而 是 从 头 开 始 创建 新 的 作品 。 所 以 ， 实 际 上 并 没有 照片 的 处 理 : 我 们 把 你 的 照片 作为 输入 ， 执 行 一 些 操作 ， 输 出 给 你 一 
张 新 的 照片 。”Artisto 是 一 个 类 似 的 应 用 程序 ， 为 短视 频 剪 辑 而 不 是 静态 照片 提供 各 种 艺术 滤 镜 。 我 们 还 可 以 在 苹果 的 Clips 应 
用 程序 中 进行 照片 风格 的 转换 ， 并 将 其 作为 Facebook 相 机 应 用 程序 中 的 一 项 功能 。 


这 种 类 型 的 机 器 学 习 研究 可 以 结合 AR 将 现实 世界 转化 为 艺术 作品 ， 为 我 们 的 现实 着 色 ， 以 实时 的 方式 以 新 的 方式 向 我 们 展 
示 世 界 。 在 1971 年 的 音乐 剧 《 威 利 . 旺 卡 和 巧克力 工厂 》 中 ， 当 人 们 第 一 次 走 进 巧克力 工厂 的 幻想 世界 时 ， 他 们 简直 不 敢 相信 自 
己 的 眼睛 。 “ 跟 我 来 吧 ， 你 会 进入 一 个 纯粹 想象 的 世界 ，” 威 利 旺 卡 唱 道 。 与 此 类 似 ， 抽 象 艺术 AR 滤 镜 为 我 们 打开 了 一 扇 幻 想 
世界 的 大 门 ， 让 我 们 可 以 从 现实 的 局 限 中 解脱 出 来 ， 以 新 的 方式 讲述 故事 。 


2. 共 享 虚拟 空间 


AR 的 第 一 波浪 潮 主要 集中 在 单 用 户 体验 上 。 而 在 第 二 次 浪潮 中 ， 我 们 已 经 开始 看 到 出 现 新 型 虚拟 空间 的 可 能 | 虚拟 体 
验 能 够 在 用 户 之 间 共 享 ， 允 许多 用 户 共 存 和 参与 。 它 大 大 提升 了 增强 现实 的 应 用 范围 ， 在 游戏 、 教 育 甚至 个 人 经 历 方面 ， 以 新 的 
方式 分 享 我 们 的 历史 和 记忆 。 





由 电影 导演 克里斯托弗 . 诺 兰 开发 的 NjDj 应 用 程序 “ 盗 梦 空间 应 用 ”[ 注 ， 能 够 借助 于 iPhone 中 的 麦克 风 等 传感器 ， 根 据 你 的 
环境 创建 不 同 的 增强 现实 音 景 ， 并 与 你 一 天 中 的 位 置 、 活 动 和 当下 的 时 间 整 合 在 一 起 。 当 至 少 有 一 个 其 他 朋友 同时 在 他 们 的 设备 
上 玩 这 个 应 用 程序 的 时 候 ， 一 个 你 不 能 独自 探索 的 新 “梦境 ”或 层级 就 能 够 被 访问 。 如 果 七 个 人 在 同一 个 地 方 一 起 玩 ， 就 会 解锁 
一 个 特殊 的 成 就 和 层级 。 我 喜欢 这 种 人 们 聚 在 一 起 共享 物理 空间 以 在 增强 现实 中 进一步 对 故事 进行 探索 的 想法 ， 我 相信 我 们 会 看 
到 更 多 这 样 的 故事 。 除 了 游戏 之 外 ， 这 项 设计 也 能 够 适用 于 互动 剧场 或 其 他 艺术 活动 ， 观 众 的 多 嘉 可 能 会 影响 和 改变 故事 的 进 
程 ， 使 其 每 次 都 有 所 不 同 。 


在 现实 生活 中 ， 与 其 他 人 分 享 物理 空间 并 不 总 是 可 能 的 。2016 年 推出 的 Skype for HoloLens 和 同年 微软 研究 院 设 计 的 
Holoportation[13] 能 通过 实时 虚拟 3D 远 程 传输 技术 ， 使 得 相距 很 远 的 人 们 聚集 在 一 起 ， 在 共享 的 增强 现实 虚拟 空间 中 一 同 娱乐 
和 工作 。Skype for HoloLens 能 够 让 你 的 联系 人 看 到 你 所 看 到 的 一 切 ， 使 他 们 能 够 共享 你 身边 的 现实 存在 。 这 为 我 们 创造 了 一 
个 共享 一 切 的 环境 ， 一 个 可 以 真正 展示 而 不 仅仅 是 口头 说 明 的 协作 空间 。 


Skype for HoloLens 的 典型 应 用 之 一 就 是 修理 电灯 开关 。 在 穿着 HoloLens 的 同时 ， 你 能 够 将 自己 的 视野 与 正在 使 用 平板 电 
脑 通过 视频 聊天 向 你 提供 说 明 的 其 他 人 实时 共享 。 对 方 能 够 看 到 你 在 自己 的 物理 环境 中 所 看 到 的 东西 ， 然 后 用 箭头 和 图 示 等 形式 
来 形象 地 描述 围绕 各 种 电子 装置 进行 操纵 的 最 佳 方式 ， 教 你 如 何 将 所 有 东西 整合 在 一 起 。 通 过 共享 视野 和 想法 ， 另 一 个 人 能 够 手 
把 手 地 指导 你 完成 一 项 任务 。Skype for HoloLens 除 了 修理 电器 外 ， 还 在 教育 领域 的 叙述 体验 提升 上 拥有 巨大 潜力 ， 它 能 够 创 
建 支持 实时 草图 的 协作 工作 环境 。 通 过 让 他 人 与 你 所 存在 的 空间 进行 视觉 上 的 交流 ， 它 为 我 们 展示 了 一 种 新 的 方式 来 与 他 人 进行 
沟通 并 分 享 周围 的 世界 。 它 还 可 以 创造 出 一 种 前 所 未 有 的 游戏 空间 ， 在 他 人 的 物理 世界 上 描绘 各 种 效果 ， 并 提供 实时 共享 。 


Holoportation 是 一 种 新 型 的 三 维 采 集 技术 ， 可 以 实时 将 世界 上 任何 人 的 高 质量 三 维 模型 传送 到 世界 上 任何 地 方 。 与 
HoloLens 等 增强 现实 显示 器 结合 使 用 时 ，Holoportation 技 术 可 以 让 用 户 以 远程 参与 者 的 身份 去 看 、 去 听 并 与 其 进行 交互 ， 就 
像 共 享 同一 个 物理 空间 一 样 。Holoportation 合 伙 人 研究 经 理 Shahram lzadi 表 示 : “想象 一 下 ， 任 何人 都 能 够 在 任何 时 间 被 传 
送 到 任何 地 方 。” 在 发 布 会 的 录像 中 ，1zadi 展 示 了 一 个 同事 的 三 维 影像 ， 这 个 同事 也 穿着 HoloLens 设 备 。 他 可 以 在 lzadi 所 在 的 
物理 空间 里 四 处 走动 ， 两 人 甚至 能 够 击 掌 庆祝 。|lzadi 还 展示 了 位 于 干 里 之 外 的 家 人 能 够 在 与 他 的 小 女儿 的 游戏 体验 中 使 用 这 项 
技术 ， 就 好 像 他 们 在 同一 个 房间 里 一 样 。 


除了 实时 三 维 采集 之 外 ， 该 技术 还 能 够 记录 和 回放 整个 共享 虚拟 体验 。“ 现 在 它 给 我 的 感受 几乎 就 是 时 间 逆 转 。”1zadi 
说 ，“ 当 我 戴 上 HoloLens 设 备 时 ， 就 好 像 走 进 一 个 活生生 的 记忆 ， 我 可 以 从 另 一 双眼 睛 以 不 同 的 角度 看 出 去 ， 从 完全 不 同 的 方 
向 来 体会 这 个 世界 。 ”他 指出 ， 因 为 回放 的 内 容 是 三 维 的 ， 我 们 可 以 把 它 缩小 并 放置 在 咖啡 桌 上 ， 或 者 以 其 他 方便 的 方式 随意 摆 
放 。1zai 说 : “这 种 对 现场 俘获 的 记忆 随时 随地 进行 体验 的 方式 真 的 是 非常 神奇 。 


Holoportation 增 强 了 人 类 的 记忆 ， 扩 展 了 我 们 回忆 和 重新 体验 故事 的 方式 ， 也 使 得 我 们 的 个 人 经 历 变 得 更 生动 。 现 在 ， 以 
虚拟 三 维 体验 方式 重 现 事件 成 为 可 能 ， 这 一 技术 已 经 超越 了 人 类 记忆 的 局 限 性 ， 甚 至 允许 我 们 在 之 后 的 日 子 里 从 以 前 无 法 访问 的 


不 同 视 角 来 体验 这 些 事件 。 无 论 是 家 庭 活 动 、 戏 剧 表 演 还 是 设计 协作 ， 增 强 现实 共享 空间 都 为 这 些 故事 的 演绎 创造 了 新 的 时 空 维 
度 。 


3. 物 体 讲 故 事 


人 们 是 否 想象 过 ， 一 个 物体 可 以 向 你 讲述 它 的 故事 呢 ? Blippar 的 AR 视觉 探索 浏览 器 应 用 程序 结合 了 计算 机 视觉 、 机 器 学 习 
和 人 工 智 能 等 先进 技术 ， 致 力 于 帮助 用 户 更 好 地 探索 周围 的 世界 。 通 过 将 智能 手机 上 的 相机 对 准 产 品 、 食 物 、 鲜 花 甚 至 宠物 等 日 
常 物品 ， 该 应 用 就 可 以 识别 你 正在 查看 的 内 容 ， 并 进一步 提供 与 主题 相关 的 信息 。 其 中 包括 相关 的 文章 、 视 频 和 附近 你 可 能 感 兴 
趣 的 地 方 ， 这 些 信息 全 部 会 出 现在 你 的 智能 手机 屏幕 上 。 例 如 ， 当 你 用 手机 指向 自己 可 能 不 熟悉 的 某 种 蔬菜 时 ， 应 用 程序 将 会 标 
识 蔬菜 的 名 称 ， 提 供 推荐 的 食谱 ， 甚 至 列 出 附近 你 可 以 买 到 这 种 蔬菜 的 位 置 。Blippar 为 探索 周围 的 物理 世界 提出 了 一 种 新 颖 的 
方式 ， 我 们 可 以 通过 使 用 图 像 和 物体 而 不 是 文字 来 寻找 相关 的 信息 ， 如 图 6-9 所 示 。 








图 6-9: Blippat 应 用 可 以 帮助 我 们 识别 现实 生活 中 见 到 的 花 的 品种 ， 为 我 们 讲述 相关 的 故事 


(https://blippar.com/en/resources/blog/2016/06/09/introducing-new-blippar-app-power-visual-discovery/) 


Blippar 联 合 创始 人 兼 首席 执行 官 Ambarish Mitra 将 Blippar 称 为 “超越 搜索 的 下 一 场 革命 ”。 在 《lntroducing the New 
Blippar App: The Power of Visual Discovery》014 中 ， 他 进一步 解释 道 : 





现在 我 们 有 了 更 有 趣 的 方式 来 了 解 周围 的 环境 ， 借 助 Blippar， 人 们 其 至 能 够 在 普通 事物 中 找到 隐藏 的 信息 ， 发 现 不 为 人 知 的 


事实 和 故事 。 








Blippar 的 视觉 浏览 器 为 我 们 创造 了 一 种 身 临 其 境 的 体验 ， 我 们 能 够 随时 随地 了 解 自 己 正 在 查看 的 内 容 ， 而 无 需 打 开 Web 浏 
览 器 ， 辟 结 想 要 搜索 的 主题 ， 并 一 个 一 个 键入 天 键 字 。 


随 着 这 项 技术 的 改进 和 其 在 AR 眼镜 上 的 应 用 逐渐 发 展 ， 这 种 体验 将 会 变 得 更 具有 沉浸 感 : 我 们 甚至 不 需要 将 手机 指向 一 个 
物体 ， 只 需要 看 向 想 要 了 解 的 东西 并 询问 “这 是 什么 ”， 这 个 东西 就 能 够 根据 你 的 喜好 和 背景 来 向 你 讲述 它们 的 故事 ， 甚 至 调皮 
地 问 你 : “你 想 了 解 更 多 吗 ?“ 


除了 零售 场景 和 产品 设计 之 外 ，Blippar 的 视觉 探索 浏览 器 在 教育 领域 也 具有 巨大 潜力 ， 它 改变 了 我 们 搜索 和 获取 信息 的 方 
式 ， 同 时 吸引 着 我 们 去 了 解 周围 的 世界 。Blippar 在 博客 《Augmented Reality in Education: How To Turn The World Into 


An Interactive Learning Environment》[15] 中 写 道 : “我 们 认为 ， 这 项 工作 就 像 是 把 世界 上 最 有 洞察 力 的 眼睛 放 到 在 世界 任何 
地 方 的 孩子 的 口袋 里 ， 并 把 它 连 接 到 世界 上 最 聪明 的 个 人 导师 身上 。” Blippar 教 育 的 负责 人 Colum Elliott-Kelly 解 释 说 ， 作 为 
一 个 “导师 ”，Blippar 能 够 利用 自己 所 知 的 “互联 网 上 的 一 切 ” 来 帮助 解释 现实 世界 。 然 而 ，Elliott-Kelly 接 下 来 指出 ， 教 师 才 
是 成 功 教育 的 核心 。 他 说 : “我 们 相信 ， 这 项 技术 可 以 服务 于 每 个 走 在 一 线 的 教育 工作 者 ， 使 他 们 能 够 做 到 最 好 ， 从 而 让 学 生 们 
拥有 最 好 的 学 习 环境 。 一 名 戴 着 Blippar 的 老师 可 以 专注 于 提升 自己 作为 一 名 人 类 教师 的 价值 。 


Elliott-Kelly 指 出 了 Blippar 的 视觉 探索 浏览 器 在 教育 领域 中 的 三 种 典型 应 用 : 一 是 解锁 课堂 学 习 (或 学 校 组 织 的 户外 活动 ) 
中 的 发 现 阶段 ; 二 是 把 现实 世界 变 成 一 个 学 习 的 门户 ; 三 是 降低 由 于 缺乏 教育 机 构 而 导致 的 文盲 比例 。 


第 一 类 应 用 主要 关于 学 习 的 发 现 阶段 。 这 一 步 主要 是 将 学 生 使 用 Blippar 应 用 程序 与 世界 互动 这 一 用 户 故 事 集成 到 教室 周围 
的 环境 中 ， 或 者 鼓励 学 生 将 使 用 Blippar 探 索 事物 作为 校外 学 习 的 一 部 分 。Elliott-Kelly 阅 : “能 够 与 教育 系统 和 平台 相 结合 ， 识 
别 任何 对 象 并 控制 其 体验 ， 这 意味 着 学 习 体验 的 一 场 革命 。 例 如 ， 学 生 可 以 用 Blippar 对 插座 进行 探索 来 学 习 电路 和 电子 学 ,或 
者 探索 当地 的 桥梁 来 可 视 化 展示 工程 科学 ， 课 程 内 容 可 以 由 教育 工作 者 定制 ， 同 时 还 能 够 提供 学 生 行为 和 表现 的 监测 。” 


在 第 二 类 应 用 中 ， 现 实 世 界 成 为 学 习 的 门户 ， 纯 由 自己 好 奇 心 主导 的 学 习 者 们 借助 于 Blippar 的 视觉 发 现 技术 ， 能 够 和 由 正 
式 教 师 指导 的 学 生 们 同样 拥有 识别 任何 事物 的 能 力 。Elliott-Kelly 说 : “博物 馆 和 艺术 品 就 是 这 方面 的 一 个 很 好 的 例子 ， 世 界 上 
几乎 所 有 的 东西 都 需要 大 量 的 非 正式 学 习 。 在 这 方面 ， 我 们 正在 思考 能 够 赋予 事物 生命 的 方式 一 一 包括 食物 、 艺 术 品 、 工 作 场 
所 或 者 地 标 性 建筑 。” 他 还 指出 ， 人 们 对 Blippar 的 兴趣 使 得 用 户 可 以 为 知识 贡献 自己 的 经 验 ， 而 不 仅仅 作为 一 个 消费 者 : 


你 对 艺术 作品 的 观点 对 其 他 人 来 说 是 有 意义 和 价值 的 ， 不 管 这 些 信 息 是 来 自 书面 文字 还 是 其 他 传统 信息 来 源 。 所 以 ， 当 你 通 
过 Blippatr 欣 赏 艺 术 品 的 时 候 ， 你 不 仅 可 以 读 取 相 关 的 内 容 ， 还 可 以 贡献 你 自己 的 观点 以 供 其 他 人 欣赏 。 


第 三 类 应 用 是 降低 由 于 缺乏 教育 机 构 而 导致 的 文盲 比例 。 有 相当 一 部 分 学 生 因 为 在 教室 或 家 中 没有 受到 好 的 指导 (或 者 无 法 
阅读 ) 而 影响 到 将 来 的 发 展 。Elliott-Kelly 说 : 


如 果 想 要 可 靠 地 学 习 生 物 学 的 内 容 ， 甚 至 仅仅 是 举 一 个 恰当 的 例子 ， 就 需要 学 生 具 有 相应 的 读 写 能 力 ， 外 加 一 位 经 验 丰 富 的 
教育 家 。 我 们 希望 提供 一 种 数字 内 容 ， 能 够 不 借助 这 些 外 在 条 件 就 将 知识 传递 给 学 生 们 。 基 本 思路 是 一 样 的 ， 通 过 视觉 探索 进行 
识别 和 通过 人 工 智 能 驱动 引擎 进行 内 容 管理 ， 但 其 主要 应 用 场景 是 帮助 学 习 者 跨越 学 习 的 障碍 : 譬如 缺乏 基本 知识 技能 和 阅读 能 
力 。 

随 着 增强 现实 的 演绎 方式 和 学 习 工 具 的 不 断 发 展 ， 除 了 消费 内 容 之 外 ， 贡 献 自己 的 观念 也 变 得 日 渐 重 要 。 对 可 读 写 文 化 的 支 
持 使 得 我 们 能 够 更 积极 地 参与 进来 ， 分 享 世界 上 的 知识 ， 并 与 世界 分 享 自己 的 故事 。 它 有 助 于 人 类 学 习 知 识 ， 并 创建 知识 。 
TechCrunch 表 示 I161，Blippar 正 在 用 自己 的 视觉 浏览 器 “构建 一 个 物理 世界 的 维基 百科 ” ， 借 助 于 这 种 “ 边 贡献 边 汲取 ” 模 
式 ， 它 真 的 有 可 能 成 为 人 类 的 增强 版 维基 百科 。 


4. 动 作画 廊 和 增强 现实 表情 包 


只 需要 从 3D 动 画 增强 内 容 库 中 作出 选择 ，Holgram 的 Actiongram 就 可 以 让 你 操作 和 使 用 周围 的 虚拟 物品 ， 并 自行 创建 和 分 
享 视频 ， 如 图 6-10 所 示 。 画 廊 的 可 选 内 容 中 包括 人 (如 著名 演员 George Takei) 、 动 物 (如 独 角 兽 ) 、 其 他 物体 (如 不 明 飞 行 
物 ) 和 可 定制 的 文字 形状 。 微 软 公司 的 执行 制 片 人 Dana Zimmerman 说 (1:， “我 们 提供 了 一 个 巨大 的 全 息 角 色 和 相应 的 道具 
及 工具 的 集合 ， 你 可 以 用 它 来 把 全 息 图 像 整 合 到 你 想 说 的 故事 里 。” 





图 6-10: Actiongram 允 许 人 们 用 全 息 图 像 和 视觉 特效 来 演绎 自己 的 想法 。 图 中 使 用 者 控制 自己 想象 中 的 丽 龙 在 地 毯 上 活动 


你 成 为 Actiongram 的 导演 ， 借 助 你 选择 的 角色 和 物品 来 定义 属于 自己 的 故事 ， 并 将 它们 放置 在 独特 的 环境 中 。 每 个 故事 都 
是 不 一 样 的 ， 这 种 体验 十 分 有 趣 。 你 用 自己 的 想象 力 把 虚拟 元 素 和 物理 人 存在 结合 在 一 起 ， 演 绎 出 一 个 可 以 被 记录 和 分 享 的 故事 。 


使 用 Actiongram 创 建 的 故事 体验 不 再 仅仅 是 单一 的 角色 或 物体 ， 它 还 结合 了 你 为 它们 设计 的 情境 。 就 像 玩 洋娃娃 或 控制 皮 
偶 戏 一 样 ， 你 可 以 通过 编剧 的 方式 围绕 着 特定 的 角色 展开 故事 。 虽 然 在 图 库 中 有 一 部 分 预定 义 的 角色 和 动作 库 供 你 选择 ， 但 是 你 
可 以 将 虚拟 元 素 与 现实 结合 起 来 ， 以 创建 属于 自己 的 故事 。 


Actiongram 的 一 个 好 处 就 是 你 并 不 需要 为 了 在 增强 现实 中 创建 和 分 享 一 个 故事 而 成 为 一 位 程序 员 或 者 动画 设计 师 。Kudo 
Tsunoda 说 “: “Actiongram 可 以 让 没有 任何 3D 设 计 技 能 甚至 不 了 解 视 觉 效果 体验 的 人 成 为 令 人 惊叹 的 全 息 故 事 讲 述 者 。 
”Actiongram 也 支持 将 AR 内 容 结合 在 现实 世界 中 ， 以 记录 那些 不 切实 际 甚至 不 可 能 的 场景 。Tsunoda 解 释 说 : “Actiongram 
允许 人 们 用 全 息 图 和 最 新 视 沉 特效 来 制作 视频 ， 而 (传统 上 ) 这 往往 需要 昂贵 的 软件 和 多 年 的 经 验 才能 做 到 。” 美国 乐队 
Miniature Tigers 使 用 Actiongram 为 《Crying in the Sunshine》 这 首 歌 曲 创作 了 一 段 音乐 视频 。 “借助 这 项 技术 ， 受 
《Crying in the Sunshine》 这 一 故事 的 启发 ， 我 们 围绕 着 英雄 宇航 员 展 开 了 一 个 故事 。”Kim Taylor Bennett 说 ，“ 这 项 技术 
使 得 我 们 能 够 和 宇宙 中 的 宇航 员 一 起 进行 拍摄 ， 就 好 像 他 活生生 地 坐 在 我 们 身边 一 样 。 这 种 体验 十 分 有 趣 ， 令 人 惊叹 。 ”影片 的 
导演 之 一 Meghan Doherty 也 表示 …， “使 用 新 工具 来 讲 故 事 的 新 鲜 感 令 人 兴奋 ”。 


我 相信 ，Actiongram 将 会 激发 开发 者 的 灵感 ， 以 开发 更 多 基于 动作 的 增强 现实 内 容 库 ， 就 像 今天 我 们 在 消息 应 用 中 使 用 的 
表情 包 一 样 。 数 字 表 情 包 (我 预测 很 快 会 变 成 3D 表 情 包 ) 是 之 前 表情 符号 的 延伸 ， 是 一 种 用 动画 图 片 来 取代 传统 语言 、 简 短 表 
达 一 个 故事 的 方式 。 我 们 可 以 期 待 ， 动 作画 廊 也 将 发 展 成 为 一 种 以 3D 的 形式 更 有 趣 地 增强 沟通 的 方式 一 一 以 作为 对 今天 微 信 等 
消息 应 用 程序 中 使 用 表情 包 的 延伸 。 如 果 我 们 在 iPhone 上 使 用 iOSs 10 便 可 以 直接 在 消息 中 插入 表情 ， 而 不 是 仅仅 用 表情 回复 。 
为 什么 不 在 现实 世界 甚至 别人 的 环境 中 放置 一 个 三 维 增强 现实 表情 ， 让 他 们 知道 你 的 想念 呢 ? 我 们 可 以 用 正在 疯狂 点 头 的 三 维 虚 
拟 独 角 兽 表情 (或 在 朋友 之 间 建 立 一 个 共享 的 增强 故事 场景 ) 来 回应 朋友 从 AR 有 眼镜 发 来 的 消息 。Actiongram 和 三 维 增强 现实 表 
情 包 即将 成 为 当今 的 虚拟 电报 。 


诸如 Actiongram 和 三 维 增强 现实 表情 包 这 类 的 工具 可 以 通过 展现 个 性 化 的 增强 现实 头像 而 变 得 更 加 吸引 人 。 人 们 很 难 想象 


Bitstrips (2016 年 被 Snapchat 以 超过 1 亿美 元 的 价格 收购 ) 所 开发 的 智能 手机 应 用 程序 Bitmoji[ 尖 的 受 欢迎 程度 ， 它 可 以 让 你 定 
制 一 个 富有 表现 力 的 2D 卡 通化 身 ， 以 用 于 消息 应 用 程序 。 在 Bitmoji 中 你 可 以 很 容易 地 创建 自己 的 数字 形象 : 从 几 个 选项 中 选择 
符合 你 外 观 的 那个 ， 如 脸形 、 头 发 的 颜色 眼睛 的 颜色 甚至 脸 部 的 线条 。 完 成 后 ， 你 的 头像 就 出 现在 数字 表情 包 中 的 各 种 场景 中 。 
然后 ， 你 可 以 使 用 iMessage、Gmail 和 Snapchat 等 应 用 程序 发 送 自 定义 的 Bitmoji。Joanna stern 在 《华尔街 日 报 》 发 表 的 文 
章 中 提 到 [*0]: “你 的 脸 能 够 传递 如 此 多 的 信息 ， 言 语 与 之 比 起 来 苍白 无 力 。”Bitmoji 联 合 创始 人 Ba Blackstock 表 示 ,在 
Bitmoji 的 帮助 下 ，“ 你 不 仅 能 够 看 到 文字 ， 而 且 还 能 够 看 到 你 的 朋友 一 这 让 你 的 信息 更 有 人 情 味 儿 。 


目前 ， 我 们 可 以 在 增强 现实 消息 应 用 程序 中 使 用 自己 的 二 维 卡通 形象 ， 在 不 远 的 将 来 ， 我 们 就 能 够 使 用 照片 般 逼 真 的 三 维 头 
像 。Uraniom[ 潮 的 联合 创始 人 兼 首席 执行 官 LOIC LedOUx 希望 能 够 帮助 你 成 为 增强 故事 中 的 明星 。Uraniom 是 一 个 网 络 
平台 ， 它 提供 一 款 移动 应 用 程序 ， 可 以 帮助 你 创建 一 个 逼真 的 3D 头 像 ， 你 可 以 在 任何 AR 或 VR 的 应 用 程序 和 视频 游戏 中 使 用 。 这 
个 探索 的 初 囊 是 为 了 解决 游戏 玩家 们 提出 的 一 个 严重 问题 : 头像 常常 看 起 来 很 可 怕 。Ledoux 很 快意 识 到 ， 这 项 技术 除了 游戏 外 
还 有 更 多 的 应 用 场景 。“ 将 我 们 的 头像 设计 与 HoloLens 这 样 的 设备 结合 ， 这 为 我 们 提供 了 重新 创造 几乎 真实 的 人 际 互动 的 可 
能 。” 他 提 到 ，“ 在 增强 现实 和 虚拟 现实 体验 中 ， 我 们 将 能 够 与 同事 、 家 人 、 朋 友 聚 在 一 起 ， 分 享 我 们 的 经 历 和 感情 。 我 坚信 ， 
为 了 重新 创造 真实 的 社交 互动 ， 使 用 看 起 来 和 现实 世界 相似 的 形象 是 最 基础 的 。” 


用 Uraniom 创 建 照 片 级 真实 的 三 维 形象 这 一 过 程 目前 分 三 步 进行 。 首 先 ， 使 用 结构 传感器 [这 类 三 维 扫 描 设备 或 配备 英 特 
尔 RealSense 的 平板 电脑 对 自己 进行 扫描 。 接 下 来 ， 在 Uraniom 的 网 络 平台 上 创建 一 个 账户 并 上 传 扫描 数据 。 最 后 ， 选 择 要 在 其 
中 创建 头像 的 游戏 或 应 用 ， 然 后 按照 配置 过 程 (调整 头 部 大 小 、 肤 色 等 ) 进行 相应 设置 。Ledoux 说 : “我 们 想 重 新 定义 你 的 虚 
拟 身份 。” 他 进一步 解释 说 : 


当然 ， 在 菜 些 情况 下 ( 壁 如 商业 合作 场合 ) ， 你 将 以 完美 的 形象 出 现 。 然 而 ， 如 果 你 能 够 选择 不 同 的 形象 与 家 人 见面 ， 或 者 
针对 陌生 人 做 出 特有 的 形象 设置 呢 ? 我 们 希望 ， 你 能 够 在 任何 设备 或 平台 的 所 有 数字 环境 中 ， 拥 有 对 自己 数字 形象 的 完全 控制 。 


Uraniom 与 Holoportation 技 术 的 不 同 之 处 在 于 Holoportation 偏 重 于 实时 捕捉 和 实时 传输 ， 而 Uraniom 则 提供 预定 义 的 三 
维 化 身 ， 并 且 时 刻 准备 好 和 增强 现实 体验 的 整合 。Ledoux 认 为 Holoportation 是 一 个 伟大 的 项 目 ， 并 指出 了 它 难 以 快速 扩展 的 
原因 。 “这 项 技术 需要 360 度 的 全 面 实时 形象 捕捉 ， 对 硬件 配置 的 要 求 相当 高 ; 除了 成 本 之 外 ， 还 受到 了 某 些 (存储 或 传输 ) 空 
间 上 的 限制 。”Ledoux 说 ，“ 即 使 将 数据 进行 压缩 ， 它 需要 实时 传输 的 3D 数 据 量 也 是 相当 巨大 的 。 而 使 用 增强 头像 ， 你 只 需要 
移动 动画 控制 点 即 可 。Holoportation 对 于 实时 交互 的 趣味 性 和 可 用 性 弓 良 置疑， 但 对 某 些 用 例 来 说 ， 可 能 不 是 最 好 的 解决 方 


某 。 


Ledoux 认 为 ，Uraniom 能 够 极 大 地 丰富 增强 现实 游戏 ， 并 使 其 走 得 更 远 。 他 解释 说 : 


如 果 你 在 游戏 中 进行 互动 的 伴侣 是 一 个 亲密 的 朋友 ， 而 不 是 一 个 NPC( 非 游戏 角色 ) 呢 ? 如 果 故 事 中 的 反面 角色 是 某 位 家 庭 
成 员 呢 ? 当 你 在 游戏 中 面 对 自 己 生 活 中 的 人 物 ， 与 现实 生活 中 所 认识 的 人 进行 交互 ， 你 的 行为 会 和 面 对 电 脑 随 机 生成 的 人 物 一 样 
吗 ? 我 起 不是 的 ! 


Ledoux 的 观点 与 Blackstock 对 Bitmoji 通 过 “看 见 朋 友 的 形象 ”以 让 你 的 信息 “感觉 更 有 和 人情味” 的 观点 相互 呼应 。 同 样 ， 
使 用 照片 级 的 增强 真实 形象 也 是 一 种 人 性 化 AR 体 验 的 方式 。 





我 很 高 兴 看 到 Uraniom 在 可 分 享 幽默 短片 中 得 到 了 广泛 应 用 ， 璧 如 家 喻 户 晓 的 Ef Yourself 个 由 导演 Jason Zada 制 作 
的 病毒 式 传播 的 网 站 。 通 过 上 传 自己 或 朋友 的 照片 到 EIf Yourself 网 站 ， 你 可 以 看 到 自己 在 视频 中 以 精灵 的 身份 跳舞 ， 并 能 够 直 
接 分 享 这 段 视频 。 同 样 ，JibJab 网 站 提供 了 类 似 的 个 性 化 电子 贺卡 体验 ， 你 或 身边 的 朋友 能 够 在 短视 频 中 以 明星 的 身份 出 现 。 现 
在 ,你 可 以 想象 属于 自己 的 增强 现实 体验 ， 不 仅仅 是 一 个 二 维 的 跳舞 精灵 或 者 有 着 你 的 脸 的 其 他 人 物 ， 你 可 以 分 享 自己 或 者 别人 
的 三 维 增强 形象 。 像 Uraniom 这 样 的 工具 可 以 做 到 这 一 点 。 


当 我 们 以 增强 人 类 的 身份 出 现 ， 我 们 的 形象 将 会 是 真实 的 吗 ” 我 们 会 变 得 更 高 、 更 英俊 或 者 更 美丽 ， 拥 有 不 一 样 的 眼睛 颜色 
一 一 就 像 我 们 用 高 跟 鞋 、 化 妆 品 、 彩 色 隐形 眼镜 和 整形 外 科 手 术 改 造 自己 的 外 表 一 样 吗 ? 我 们 的 形象 会 传达 我 们 真实 的 自我 和 
真实 的 故事 吗 ?” 又 或 者 ， 我 们 会 选择 成 为 其 他 人 ， 甚 至 是 别 的 什么 东西 ?我 相信 ， 我 们 将 拥有 一 个 定制 化 的 AR 形象 数据 库 ， 人 多 
许 我 们 同时 发 送 不 同 版 本 的 自己 ， 甚 至 可 以 在 现实 世界 中 分 享 这 些 形象 。 不 管 怎样 ， 在 增强 现实 的 第 二 波浪 潮 中 ，AR 形 象 将 会 
根据 情境 进行 改变 以 适应 环境 。 


[1] http://uploadvr.com/spectacle-ar/。 
[2] http:/ /prisma-ai.com/。 

[3] https:/ /artisto.my.com/。 

[4] https:/ /apple.co/2vt9kDR。 

[5] https:/ /www.bitmoji.com/。 

[6] https://www.uranicom.co/。 


[7] https://structure.io/。 
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第 7 章 ” 增 强 物体 改变 生活 


增强 现实 的 第 二 波浪 潮 是 由 对 情境 的 理解 以 及 与 周围 环境 的 相互 作用 驱动 的 。 你 的 环境 就 是 你 存在 的 一 面 镜子 ， 能 够 实时 地 
反映 你 的 需求 。 周 围 的 环境 现在 变 得 能 够 适应 变化 且 灵 活 做 出 响应 ， 从 而 进一步 为 你 提供 个 性 化 、 高 相关 和 有 意义 的 体验 。 增 强 
现实 不 再 只 是 现实 中 的 一 个 虚拟 层 ， 现 在 已 经 变 成 了 现实 世界 的 映射 。 在 本 章 中 ， 我 们 将 介绍 虚拟 化 身 、 智 能 代理 、 物 品 和 材料 
等 是 如 何 成 为 活跃 的 情境 变化 因素 的 ; 通过 不 断 地 学 习 、 成 长 、 预 测 和 进化 ， 它 们 将 为 日 常生 活 带 来 新 的 价值 ， 并 以 前 所 未 有 的 
方式 扩展 我 们 对 人 性 的 理解 。 


终极 目 担 


今天 ， 随 着 增强 现实 技术 和 人 工 智能 的 进步 ， 我 们 能 够 比 以 往 更 加 接近 虚拟 人 类 化 身 一 它们 不 仅 与 我 们 在 物理 上 十 分 相 
似 ， 而 且 能 够 学 习 我 们 的 行为 并 代表 我 们 行事 。 “终极 自拍 ” (Ultimate Selfie) 是 艺术 家 、 科 学 家 、 虚 拟 现实 先驱 Jacquelyn 
Ford Morie 博 士 于 2014 年 《终极 自拍 : 对 人 类 认同 的 未 来 的 思考 》[] 一 文中 提出 的 一 个 概念 。 终 极 自拍 是 一 个 现代 人 工 智能 代 
理 ， 在 使 用 它 的 过 程 中 ， 它 将 会 学 习 我 们 的 行为 ， 甚 至 可 以 成 为 我 们 在 人 类 寿命 终止 后 留 下 的 遗产 。 “ 当 我 们 到 达 一 个 阶段 ， 在 
使 用 这 些 角 色 的 时 候 ， 它 们 能 够 向 我 们 学 习 ; 当 我 们 不 在 的 时 候 ， 它 们 可 以 成 为 我 们 的 替代 ; 那 为 什么 当 我 们 不 复 存 在 的 时 候 ， 


它们 不 能 继续 存在 呢 ? ”Meorie 博 士 问 道 ，“ 现 在 我 们 可 以 想象 ， 自 己 的 后 代 能 够 与 祖先 进行 交谈 ， 寻 求 建议 ， 或 者 询问 家 族 史 
等 。 这 就 是 终极 自拍 的 意义 所 在 。 


Morie 博 士 确定 了 五 个 重要 趋势 ， 为 “终极 自拍 ”提供 了 设计 理念 。 第 一 个 趋势 是 提高 传感器 的 精度 ， 以 更 精确 地 采集 我 们 
身体 的 工作 数据 。 她 指出 ， 随 着 可 穿戴 技术 和 传感器 被 整合 到 日 常生 活 的 数据 采集 中 ， 量 化 自己 的 行为 已 经 成 为 主流 现象 。“ 这 
个 趋势 涵盖 了 胸针 和 腕 带 等 一 系列 产品 ， 设 备 将 会 成 为 我 们 日 常服 装 的 一 部 分 ， 与 衣服 合 为 一 体 。 最 终 ， 我 们 可 能 会 看 到 它们 以 
真正 的 超人 文 主 义 方式 植 入 我 们 的 身体 。”Morie 博 士 说 。 


第 二 个 趋势 是 增强 对 人 类 外 观 数据 的 捕捉 。 “我 们 现在 已 经 有 了 足够 高 级 的 方法 ， 不 仪 能够 细 化 我 们 的 三 维 模型 ， 而 且 还 能 
情 确 地 将 我 们 外 表 的 复杂 组 成 部 分 数字 化 。”Meorie 博 士 表 示 ，“ 现 在 至 少 有 十 几 家 公司 专注 于 虚拟 形象 的 创作 ， 要 找到 一 个 可 
以 对 整个 身体 进行 扫描 建 模 的 地 方 并 不 困难 。” 她 认为 ， 我 们 可 能 很 快 就 会 看 到 ， 在 每 个 人 的 生命 中 都 会 多 次 进行 3D 扫 描 ，3D 
形象 将 会 取代 快照 成 为 主要 的 信物 。 对 更 真实 的 人 物 表 示 的 需求 日 渐 增长 ， 拥 有 理想 的 3D 形 象 将 至 关 重 要 。 


你 的 定制 化 形象 还 能 够 在 虚拟 环境 中 使 用 你 的 面部 表情 和 身体 动作 作为 其 演示 的 一 部 分 ， 为 “终极 自拍 ”增加 真实 感 ， 如 图 
7-1 所 示 。High Fidelity 这 类 公司 为 用 户 提供 了 能 够 创建 和 部 署 虚 拟 世 界 的 VR 平台 (由 Second Life 创 始 人 和 前 首席 执行 官 Philip 
Rosedale 于 2013 年 4 月 创建 ) ， 并 在 这 方面 取得 了 长 足 的 进步 。 在 这 个 领域 开展 形象 拟人 化 工作 的 公司 还 包括 Quantum 
Capture 和 Soul Machines。 这 也 暗示 了 第 三 个 趋势 的 发 展 一 一 新 的 传 感 装置 使 我 们 能 够 捕捉 到 独特 的 行为 和 动作 。 这 个 领域 友 
展 的 典型 还 包括 动作 捕捉 技术 ， 从 民用 深度 感应 相机 ， 如 家 用 电脑 游戏 中 使 用 的 Kinect， 到 在 好 莱 坞 电影 制作 中 应 用 的 复杂 系统 
一 一 身 着 套装 的 人 类 演员 能 够 扮演 计算 机 生成 的 角色 ， 如 电影 《 阿 凡 达 》 中 的 角色 Na” vi。 
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图 7-1: 实时 面部 表情 与 虚拟 形象 合成 样 例 (https://www.youtube.com/watch?v=MMa2oT1wMIs&feature=youtu.be) 


第 四 个 趋势 的 重点 是 如 何 展 示 前 三 个 趋势 中 收集 的 复杂 数据 。Morie 博 士 的 “终极 自拍 ”概念 的 出 现 早 于 可 以 与 之 互动 的 增 
强 现实 可 视 化 技术 ， 如 HoloLens。 虽 然 HoloLens 还 没有 像 Morie 博 士 提 到 的 第 一 个 趋势 那样 整合 来 自我 们 身体 的 数据 ， 但 总 有 
一 天 它 会 完成 这 项 工作 。 微 软 已 经 为 McCulloch 等 人 的 增强 现实 助手 技术 巴 提 交 了 专利 ， 专 利 号 9030495， 于 2012 年 11 月 21 日 
提交 ， 并 于 2015 年 5 月 12 日 通过 。 这 项 技术 为 HoloLens 添 加 了 一 套 生 物 测量 数据 传感器 系统 ， 以 监测 和 响应 用 户 的 压力 水 平 ， 
收集 佩戴 者 的 心率 、 排 汗 量 、 脑 波 活动 等 身体 信号 。 在 某 种 程度 上 ， 收 集 用 户 身 着 HoloLens 时 物理 上 和 情绪 上 对 特定 情况 的 反 
应 数据 ， 有 助 于 对 “终极 自拍 ”的 进一步 训练 。 


Morie 博 士 指出 的 第 五 个 趋势 是 “定制 化 的 远程 会 议 形 象 ”。 她 总 结 说 ， 我 们 已 经 习惯 于 使 用 会 议 室 中 的 视频 会 议 一 一 


BEAM 远 程 会 议 系 统 ， 还 有 我 们 的 计算 机 和 智能 手机 上 的 Skype 和 FaceTime 等 技术 ， 这 些 都 能 够 有 效 地 帮助 我 们 看 到 其 他 人 ， 
尽管 相隔 万 里 ， 但 是 仍然 可 以 讨论 问题 。 在 不 久 的 将 来 ， 如 前 一 章 所 提 到 的 那样 ， 我 们 可 以 使 用 Holoportation 和 HoloLens 
Skype 等 系统 来 实现 “定制 化 的 远程 会 议 形 象 ”， 这 可 以 与 “终极 自拍 ”结合 来 提供 更 好 的 体验 。 


Morie 博 十 认为， 这 五 个 趋势 使 我 们 能 够 更 好 地 采集 和 投射 自己 的 形象 ， 并 帮助 我 们 个 性 化 一 系列 以 人 为 本 的 需求 ， 辟 如同 
时 在 两 个 地 方 出 现 。 这 个 目标 的 实际 意义 相当 重大 ，Morie 博 士 给 出 了 一 个 使 用 “终极 自拍 ”的 宇航 员 的 例子 。“ 未 来 ， 当 宇航 
员 在 长 期 太空 任务 中 旅行 时 ， 预 计 在 下 一 个 十 年 内 ， 他 们 将 无 法 实时 与 地 球 上 的 朋友 和 家 人 视频 聊天 ， 就 像 他 们 现在 在 国际 空间 
站 所 经 历 的 那样 。 美 国 宇航 局 正在 调查 利用 虚拟 现实 技术 来 帮助 解决 社交 隔离 这 一 典型 心理 问题 ， 当 飞行 员 离开 地 球 之 后 ， 他 们 
的 航空 任务 可 能 长 达 三 年 ， 而 在 此 期 间 内 与 地 球 的 通信 将 会 有 长 达 40 分 钟 的 延误 ， 于 是 ， 与 人 类 的 实时 接触 和 交流 将 会 是 我 们 
不 得 不 面 对 的 棘手 问题 。” 站] 


“终极 自拍 ”还 可 能 对 那些 与 世 隔 绝 、 行 动 困难 或 者 处 于 相对 封闭 的 社区 的 人 有 益 。Morie 博 士 说 : 


能 够 以 虚拟 形象 进入 虚拟 环境 ,与 来 自 世 界 各 地 的 亲友 会 面 ， 可 以 更 好 地 维护 人 与 人 之 间 的 关系 。 下 一 步 的 发 展 可 能 是 只 属 
于 你 的 终极 自拍 ， 这 将 会 是 你 自己 从 肉体 到 灵魂 的 完整 体现 。 


她 指出 ， 现 在 我 们 需要 实现 的 是 在 VR 社交 平台 上 实时 使 用 的 虚拟 形象 ， 包 括 通用 的 或 个 性 化 的 。 她 补充 说 : “未 来 ， 这 样 
的 3D 数 字 自 拍 将 会 学 习 你 的 行为 ， 举 止 行为 看 上 去 像 你 一 样 ， 并 且 能 够 与 他 人 进行 相对 更 复杂 的 交互 。” 


离 虚 拟 形象 可 以 真正 代表 我 们 站 在 舞台 上 还 需要 一 些 时 间 。 为 了 达到 这 个 目的 ， 虚 拟 形象 需要 在 被 你 使 用 的 时 候 学 习 你 的 行 
为 ， 这 样 当 你 不 使 用 虚拟 形象 时 ， 它 可 以 继续 这 种 行为 。 从 本 质 上 讲 ， 你 将 会 开始 训练 你 的 人 工 智能 副本 。 一 种 方法 是 记录 你 的 
常见 操作 ， 以 便 在 你 没有 出 现 的 时 候 ， 你 的 虚拟 形象 可 以 通过 相应 脚本 执行 同样 的 操作 。 虚 拟 形象 也 能 够 通过 社交 媒体 学 习 我 们 
的 行为 和 偏好 一 一 我 们 往往 会 在 社交 媒体 中 记录 自己 的 生活 事件 。 例 如 ， 你 在 Facebook 的 日 程 计划 中 包括 了 你 已 经 做 完 的 和 对 
你 重要 的 事情 。Morie 博 士 提出 了 一 个 问题 : “在 什么 情况 下 ， 我 们 的 时 间 线 可 能 会 被 人 工 智能 副本 一 一 “终极 自拍 ”所 取代 ? 
我 认为 ， 当 我 们 的 研究 走 在 正确 的 道路 上 时 ， 这 件 事情 很 有 可 能 发 生 。”[1] 


Morie 博 士 表 示 ， 为 了 使 “终极 自拍 ”成 为 现实 ， 我 们 需要 一 个 更 加 复杂 的 人 工 智能 架构 来 支撑 这 些 形象 ， 使 它们 能 够 真正 
地 学 习 并 保留 在 人 类 使 用 过 程 中 发 生 的 信息 和 行为 。 她 认为 这 是 最 大 的 挑战 。Morie 博 士 说 : “我 们 希望 拥有 的 不 仅仅 是 一 个 普 
通 的 人 工 智能 代理 ， 而 是 一 个 能 够 和 使 用 者 一 起 成 长 及 发 展 的 虚拟 形象 。 


人 工 智能 的 回归 


Eterni.me 是 麻 省 理工 学 院 的 一 家 初创 公司 ， 其 产品 定位 是 帮助 你 获得 永生 。Eterni.me 网 站 上 写 道 : “ 它 生 成 了 一 个 虚拟 的 
你 ,一 个 模拟 你 的 个 性 并 能 进行 互动 的 虚拟 形象 ， 能够 在 你 离世 之 后 为 你 的 家 人 和 朋友 继续 提供 信息 和 建议 一 一 像 过 去 在 Skype 
中 聊天 那样 。” 


Eterni.me 的 创意 与 英国 广播 公司 (BBC) 的 第 四 频道 电视 连续 剧 《 黑 镜 》 (Black Mirror) 第 二 季 的 第 一 集 “BeRight 
Back” 非 常 类 似 ， 在 剧 中 ， 嘉 妇 玛 莎 借助 于 最 新 的 技术 能 够 与 新 亡 的 丈夫 阿 什 进行 交流 。 但 是 ， 它 实际 上 并 不 是 阿 什 ， 而 是 一 
个 由 人 工 智能 程序 支持 的 虚拟 形象 ， 能 够 通过 阿 什 生前 的 社交 媒体 画像 和 在 线 通 信 记 录 (例如 电子 邮件 ) 收集 关于 阿 什 的 信息 。 
在 一 开始 ， 玛 莎 只 能 够 和 虚拟 的 阿 什 聊 天 ; 在 上 传 阿 什 的 视频 文件 之 后 ， 人 工 智 能 程序 从 中 学 习 到 了 阿 什 的 声音 ， 玛 水 从 此 可 以 
通过 电话 交流 。Eterni.me 和 希望 通过 “收集 几乎 所 有 你 在 生活 中 创造 的 一 切 ， 并 使 用 复杂 的 人 工 智能 算法 处 理 大量 的 信息 ”， 以 
类 似 的 方式 使 你 永生 。 


在 Eterni.me 上 发 表 的 《A Creepy New Startup Wants To Create Living Avatars For Dead People》DB] 中 ，Adele 
Peters 写 道 : “虽然 这 项 服务 承诺 让 你 所 做 的 一 切 都 在 线 存 储 ， 从 而 永远 不 会 被 忘记 ,但 是 ， 是 不 是 大 多 数 人 都 希望 所 有 这 些 信 
息 永远 存在 ， 这 一 点 还 不 清楚 。” 如 同 我 们 看 到 的 那样 ， 我 们 这 一 代 人 会 “在 Instagram 上 记录 每 一 餐 ” 以 及 “在 Twitter 上 记 
录 每 一 个 想法 ”，Peters 问 道 ，“ 当 我 们 离 去 的 那 一 天 ， 我 们 要 怎么 处 理 这 些 信息 呢 ?“ 


也 许 未 来 将 会 出 现 一 个 工作 : 永恒 化 身 博物 馆 馆 长 。 在 2004 年 由 Omar Naim 执 导 的 影片 《最 终 剪 接 》 中 ，Robin Williams 
饰演 了 一 名 “剪辑 者 ”， 他 对 人 类 记录 的 历史 进行 了 最 后 的 编辑 。 许 入 你 身体 的 芯片 能 够 记录 你 在 生活 中 的 所 有 经 历 ， 而 
Williams 的 工作 是 研究 所 有 你 所 存 下 的 记忆 ， 制 作 一 个 只 有 一 分 钟 的 亮点 视频 。 


Eterni.me 的 人 工 智 能 算法 足够 聪明 吗 ? 它 真 的 可 以 进行 最 终 编辑 ， 区 分 所 有 平凡 的 体验 和 重要 的 经 历 ， 以 准确 地 呈现 我 们 
的 遗产 吗 ? 在 《 黑 镜 》 中 ， 玛 莎 最 终 告诉 虚拟 的 阿 什 : “你 只 是 他 生活 中 的 一 些 碎片 。 你 没有 经 历 过 任何 事情 。 你 只 是 表现 他 的 
行为 而 不 是 思想 ， 这 是 不 够 的 。 


Eterni.me 的 创始 人 Marius Ursache 认 为 ， 仅 仅 收 集 信息 是 不 够 的 。 你 需要 与 你 的 形象 进行 交互 ， 以 帮助 它 理解 信息 并 对 其 
进行 微调 。Ursache 说 : “人 们 需要 在 他 们 还 活着 的 时 候 训练 他 们 的 形象 。 这 是 因为 我 们 现 有 的 算法 和 人 工 智能 并 不 能 从 几 个 零 
零散 散 的 电子 邮件 或 Facebook 的 帖子 中 重新 创建 人 物 的 意识 。 为 了 使 头像 可 信和 目 棚 棚 如 生 ， 我 们 仍然 需要 花费 数 年 时 间 收 集 数 
据 和 训练 模型 。 


Ursache 对 Eterni.me 形 象 做 了 一 个 生动 的 比喻 一 个 人 传记 的 作者 : 


去- 


它 会 想 要 尽 可 能 多 地 学 习 你 的 东西 ， 从 你 的 社交 媒体 、 电 子 邮 件 或 智能 手机 中 获取 各 种 线索 。 它 会 尽力 在 你 所 做 的 一 切 事情 
中 找到 意义 和 背景 ， 并 且 会 每 天 都 和 你 进行 短暂 的 聊天 以 获得 更 多 关于 你 的 信息 。 如 果 你 想 上 传 你 的 想法 、 你 的 个 性 和 《可 能 在 
未 来 ) 你 的 意识 ， 很 抱歉 ， 现 在 没有 捷径 。 为 了 你 的 余生 ， 你 将 不 得 不 每 天 都 这 样 做 。 每 天 十 分 钟 ， 加 起 来 长 达 几 千 个 小 时 的 训 
练 数据 ， 将 帮助 它 更 好 地 讲述 你 的 故事 ， 并 且 实 事 求 是 。 
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在 开始 时 ，Ursache 将 你 的 Eterni.me 比 作 电 子 宠物 。 他 解释 说 ，“ 一 开始 它 的 智能 程度 相当 有 限 ， 但 是 你 与 之 交谈 得 越 
多 ， 它 就 越 容易 获得 信息 ， 变 得 越 聪 明 。 把 它 想 象 成 一 个 孩子 ， 它 会 在 成 长 的 过 程 中 学 到 越 来 越 多 ， 直 到 | 变 成 一 个 完全 的 人 类 。 
”向 这 就 是 人 工 智能 的 进化 轨迹 : 不 断 了 解 ， 不 断 成 长 ， 然 后 随 着 你 的 使 用 变 得 越 来 越 聪明 。Spike Jonze 在 2013 年 拍摄 的 电影 
《她 》 中 介绍 了 世界 上 第 一 个 智能 操作 系统 萨 曼 莎 。《 她 》 让 我 们 得 以 一 帘 即 将 到 来 的 增强 生活 : 未 来 ， 我 们 的 设备 将 和 我 们 共 
同学 习 ， 一 起 成 长 。 


除了 创建 个 人 形象 之 外 ， 像 萨 曼 莎 这 样 的 智能 代理 将 蔡 代 我 们 做 一 些 事情 。 这 些 智能 代理 会 很 好 地 了 解 我 们 ， 了 解 我 们 的 行 
为 、 我 们 喜欢 的 事情 、 我 们 讨厌 的 事情 、 我 们 的 家 人 和 朋友 ， 甚 至 我 们 的 重要 统计 数据 。 未 来 学 家 Brian David Johnson 描 述 
说 ， 数 十 年 来 ， 我 们 与 技术 的 关系 在 某 种 程度 上 一 直 是 基于 命令 和 控制 的 输入 -输出 模型 : 如 果 命令 没有 正确 传达 ， 或 者 我 们 有 
不 同 的 口音 ， 系 统 将 无 法 工作 。Johnson 相 信 ， 我 们 和 技术 的 关系 现在 将 会 变 得 更 加 智能 。 计 算 机 能 够 了 解 你 ， 知 道 你 在 某 一 天 
将 会 做 什么 ， 并 据 此 提供 个 性 化 的 体验 ， 以 提高 你 的 工作 效率 。 


他 说 ， 这 可 以 “帮助 我 们 专注 于 人 类 的 工作 ” ， 就 像 在 《她 》 中 所 展示 的 那样 ， 萨 曼 沙 最 终 帮 助 西 奥 多 回 到 了 更 多 的 人 际 交 
往 当 中 去 。Johnson 表 示 ， 技 术 只 是 一 个 工具 ， 我 们 对 自己 的 工具 进行 设计 ， 将 我 们 的 人 生 观 和 价值 观 灌输 给 它们 。 我 们 也 可 以 
车 助 这 种 能 力 更 好 地 对 机 器 人 进行 设计 ， 来 照顾 我 们 所 爱 的 人 ， 丰 富 我 们 的 人 生 。 他 把 这 种 设计 称 为 “更 好 的 天 使 ”。Johnson 
认为 我 们 首先 需要 问 的 问题 是 “我 们 优化 的 目标 是 什么 ? ”他 说 答案 应 该 是 让 人 们 的 生活 更 美好 ， 对 此 我 完全 同意 。 


英特尔 的 互动 体验 研究 总 监 Genevieve Bell 博 士 描 述 了 一 个 计算 主导 的 世界 ， 在 这 个 世界 中 我 们 与 技术 进入 了 更 加 互惠 的 天 
系 ， 技 术 开始 关注 我 们 ， 预 测 我 们 的 需求 并 主动 为 我 们 做 事 。Gartner 的 研发 副 总 裁 Carolina Milanesi 也 回应 了 Bell 博 士 的 预 
言 。“ 如 果 需 要 和 老板 见面 ， 系 统 会 早早 叫 你 起 床 ， 在 交通 繁忙 的 时 候 ， 如 果 要 和 你 的 同事 开会 ， 系 统 会 帮 你 发 送 道歉 信 。 智 能 


手机 将 收集 来 自 日 历 、 传 感 器 、 用 户 地 理 位 置 和 个 人 数据 等 各 种 背景 信息 ， 以 协助 决策 。”Milanesi 说 ，“Gartner 认 为 ，2017 
年 之 后 ， 你 的 智能 手机 将 比 你 更 聪明 。” 中 


Gartner 的 研究 显示 ， 这 项 研究 可 以 与 自动 执行 的 初始 化 服务 一 起 工作 ， 以 协助 处 理 那些 技术 含量 低 且 耗 时 较 长 的 日 常 琐 
事 ， 璧 如 设置 日 历 或 对 乏味 的 电子 邮件 做 出 回复 。 随 着 人 们 对 外 包 那 些 琐碎 工作 给 智能 手机 的 信心 逐渐 建立 ， 消 费 者 将 更 加 习惯 
使 用 智能 应 用 和 服务 来 控制 他 们 生活 中 的 其 他 方面 。Milanesi 说 : “电话 将 成 为 我 们 的 秘密 数字 代理 ， 前 提 是 我 们 愿意 提供 给 它 
们 所 需 的 信息 。” DjBell 博 士 相信 ， 我 们 将 超越 与 技术 的 “互动 ”， 进 一 步 与 我 们 的 设备 建立 信任 的 “关系 ”。Bell 情 士 认为 ， 
十 年 之 后 ， 我 们 的 设备 将 以 一 种 前 所 未 有 的 方式 ， 直 观 地 了 解 我 们 是 谁 。 


Gartner 将 这 场 革命 称 为 “ 认 知 计算 ”时 代 ， 并 定义 了 其 中 的 四 个 典型 阶段 : 与 我 同步 ， 看 我 行动 ， 与 我 相知 ， 成 我 化 身 。 

当 我 们 在 《她 》 中 看 到 萨 曼 落 出 现时 ，“ 与 我 同步 ”和 “看 我 行动 ”已 经 开始 进行 ， 而 “与 我 相知 ”和 “成 我 化 身 ” 即 将 到 来 。 
“与 我 同步 ”能 够 存储 你 的 数字 资产 的 副本 ， 并 使 这 些 数 据 在 所 有 的 上 下 文 和 关键 点 之 间 保 持 同步 。 “看 我 行动 ” 则 知道 你 现在 
在 哪里 ， 包 括 在 现实 世界 和 互联 网 上 的 位 置 ， 并 能 够 检测 你 的 情绪 和 背景 ， 以 提供 最 好 的 服务 。 “与 我 相知 ”能 够 预测 你 需要 什 
么 ， 并 且 主 动 地 把 它 呈 现 给 你 。 “成 我 化 身 ” 则 是 智能 设备 向 人 类 学 习 的 最 后 一 步 。 通 过 访问 西 奥 多 的 所 有 电子 邮件 、 个 人 文档 
和 其 他 信息 ， 萨 曼 水 的 任务 从 最 初 管理 西 奥 多 的 日 历 逐 渐 演 变 为 收集 他 写作 的 一 些 情书 并 将 其 发 送 给 出 版 商 ， 甚 至 代表 他 行事 。 
“成 我 化 身 ” 也 是 智能 代理 变 得 足够 聪明 ， 可 以 转化 成 你 的 永恒 化 身 或 者 “终极 自拍 ”的 关键 点 ， 它 了 解 你 的 一 生 ， 能 够 从 你 最 
后 一 次 出 现 的 地 方 蔡 你 走 下 去 。 


唤起 计算 


讲 过 了 智能 形象 和 永恒 化 身 ， 我 们 现在 来 看 看 智能 空间 和 物体 。“ 唤 起 计算 ”是 东京 大 学 石川 奥 谷 实验 室 的 研究 人 员 于 
2011 年 提出 的 一 个 概念 ， 该 系统 使 用 空间 音频 和 视频 将 日 常 物体 转换 为 通信 设备 。 通 过 做 出 相应 的 手势 来 表现 要 使 用 的 设备 的 
特定 场景 ， 普 通 的 物体 将 被 唤起 ， 以 满足 你 的 需求 。 这 个 概念 已 经 被 证 明 可 行 : 人 们 已 经 实现 了 能 够 用 作 电话 的 香花 和 用 作 笔 记 
本 电脑 的 比萨 盒 ， 如 图 7-2 所 示 。 





图 7-2: 能 够 当 作 笔记 本 电脑 使 用 的 比萨 盒子 ， 手 指 在 屏幕 上 滑动 就 可 以 操控 音量 (https://www.youtube.com/watch? 


v=ZA6m2fxpxZk&feature=youtu.be) 


如 果 想 要 把 香蕉 变 成 电话 ， 你 只 需要 拿 起 一 根 香蕉 把 它 靠近 你 的 耳 朱 。 增 强 现 实 系统 将 会 识别 你 的 手势 和 物体 ， 借 助 于 隐藏 
的 定向 麦克 风 和 扬声器 ， 使 你 手中 的 香花 可 以 作为 真正 的 手机 使 用 。 如 果 想 要 使 用 笔记 本 电脑 ， 你 只 需要 打开 一 个 比萨 盒 ， 在 硬 
纸板 上 做 出 打字 的 动作 。 了 映射 到 现实 中 的 视频 和 音频 将 把 你 膝盖 上 的 比萨 盒 变 成 一 台 真 正 的 笔记 本 电脑 。 该 研究 小 组 在 未 来 的 计 
划 中 ， 打 算 扩大 唤起 计算 能 够 识别 的 手势 和 物体 的 范围 ， 最 终 目标 是 创建 一 个 能 够 理解 你 的 想法 和 需求 的 无 所 不 在 的 AR 系统 。 


但 是 你 可 能 会 问 : 为 什么 我 要 用 香蕉 作为 手机 ， 或 者 把 比萨 盒 当 作 笔记 本 电脑 ? 唤起 计算 为 我 们 展示 了 一 种 通信 技术 无 处 不 
在 、 不 再 依赖 于 特定 对 象 的 情景 。 想 象 一 下 上 次 你 无 意 中 把 智能 手机 留 在 家 中 的 情况 。 那 时 你 的 感觉 是 怎样 的 ? 根据 人 们 日 常生 
活 中 对 智能 手机 的 使 用 习惯 和 依赖 ， 你 可 能 感 沉 到 自己 和 世界 的 连接 被 切断 ， 工 作 任 务 无 法 顺利 完成 ， 甚 至 产生 类 似 赤身 裸体 的 
焦虑 感 。 而 唤起 计算 为 人 们 带 来 了 一 种 新 的 便利 ， 你 不 再 需要 随身 携带 通信 设备 ， 在 有 需要 的 时 候 ， 你 可 以 拿 起 身边 的 任何 物体 
来 用 。 


在 唤起 计算 的 帮助 下 ， 新 功能 可 以 作为 独立 的 层级 ， 在 原本 不 具备 这 些 特性 的 普通 物体 之 上 实现 。 我 们 可 以 在 需要 的 时 候 ， 
把 香 礁 想象 成 智能 手机 然后 激活 它 ， 用 完 之 后 它 就 可 以 回 到 无 生命 状态 。 这 是 响应 式 对 象 和 环境 的 新 时 代 的 开始 ， 物 体 和 环境 可 
以 依赖 于 具体 的 需求 和 情境 驱动 。 结 合 人 工 智能 技术 ， 基 于 用 户 的 情境 和 具体 需求 ， 唤 起 计算 可 以 创建 一 个 智能 环境 来 预测 下 一 
步 的 操作 。 


唤起 计算 为 我 们 描述 了 这 样 一 个 世界 ， 它 仍然 植 根 于 物理 人 存在， 然而 这 些 物 体 的 状态 能 够 随 着 需求 的 变化 而 变化 。 需 强调 的 
是 我 们 对 物体 的 操作 和 期 望 的 功能 ， 而 不 是 物体 本 身 的 物理 特性 一 一 通常 是 为 特定 的 或 者 单一 目的 而 设计 的 。 唤 起 计算 可 能 会 
为 工业 设计 领域 带 来 一 场 革命 ， 任 何 对 象 现 在 都 可 以 针对 相应 的 需求 执行 任何 任务 。 我 们 不 再 需要 各 种 电子 设备 、 家 用 电器 或 是 
工具 ， 想 象 一 下 我 们 只 需要 使 用 一 小 部 分 物体 就 可 以 了 一 一 它们 能 够 转换 成 任何 需要 的 东西 。 未 来 学 家 Bruce Sterling 评 论说 ， 
唤起 计算 还 将 为 我 们 的 可 持续 发 展 提供 更 多 可 能 人 们 将 不 再 留 下 物质 足迹 ， 因 为 所 需 的 一 切 都 可 以 被 随时 唤醒 和 使 用 。 





四 维 打印 


借鉴 了 唤起 计算 对 音频 和 视频 投影 系统 的 使 用 ， 计 算 机 科学 家 Skylar Tibbits 提 出 了 “四 维 打印 ”这 样 一 个 概念 ， 即 将 增强 
现实 技术 内 置 在 物理 材料 中 ， 人 允许 物体 智能 的 成 长 和 自 适 应 。 就 像 香 莫 手 机 的 例子 一 样 ， 四 维 打印 不 是 我 们 传统 上 认为 的 增强 现 
实 技术 ， 它 指向 的 是 可 拓展 的 情境 响应 和 可 进化 的 物体 这 一 概念 ， 在 这 个 基础 上 我 们 可 以 与 环境 更 好 的 交互 、 整 合并 沉浸 其 中 。 


Tibbits 是 麻 省 理工 学 院 自 组 装 实验 室 的 主任 ， 他 的 团队 正在 进行 四 维 打印 的 研究 ， 以 开发 在 环境 发 生变 化 时 能 够 自行 组 装 
或 进化 的 “智能 物体 ”。Tibbits 在 《4D printing: buildings that can change over time》[ 中 提 到 : “在 新 兴 的 四 维 打印 技 
术 中 ， 原 本 的 3D 打 印 材料 将 会 随 着 时 间 的 推移 而 变化 ， 这 意味 着 我 们 可 以 创造 出 能 够 逐渐 适应 我 们 的 使 用 方式 或 者 根据 周围 环 
境 进化 自身 的 物体 。”Tibbits 将 第 四 个 维度 描述 为 能 够 在 时 间 轴 上 做 出 反应 并 改变 相应 内 容 的 设计 一 一 这 些 内 容 并 不 是 静态 
的 ， 它 们 能 够 自我 进化 ， 并 具有 内 在 的 可 塑性 。 他 表示 : “这 是 一 项 针对 如 何 制造 物品 的 颠覆 性 设计 。 也 是 将 来 整个 制造 业 的 一 
个 范例 ， 我 们 将 能 够 使 物品 更 具 可 塑性 ， 甚 至 自我 进化 。” 


四 维 打印 甚至 可 以 挽救 生命 ， 璧 如 将 这 项 技术 应 用 在 危险 区 域 来 协助 救灾 。 四 维 打印 技术 可 以 用 来 构建 遇 水 收缩 或 膨胀 的 管 
道 ， 以 帮助 对 抗 由 风 带 来 的 径流 一 一 它们 的 直径 在 一 开始 将 不 断 增长 ， 并 在 危机 结束 时 马上 收缩 。 四 维 打印 还 可 以 应 用 于 灾害 
住房 或 难民 营 的 建造 ， 非 专业 劳动 者 可 以 不 经 过 任何 帮助 将 它们 搭建 起 来 。 





为 了 使 这 些 设 计 成 为 现实 ，Tibbits 的 实验 室 正 在 与 3D 打 印 制造 商 Stratasys 合 作 。Stratasys 已 经 开发 出 一 种 遇 水 膨胀 150% 


的 印刷 材料 。Tibbits 和 他 的 团队 正在 进行 下 一 步 研究 一 如何 使 用 几何 来 精确 地 描绘 物体 的 展开 并 形成 特定 的 角度 ， 而 不 仅仅 
是 让 它们 膨胀 起 来 。 这 与 3D 打 印 机 传统 上 基于 蓝图 的 工作 方式 不 同 ， 为 了 制作 四 维 的 东西 ， 打 印 机 需要 输入 复杂 的 几何 学 代 
码 ， 其 中 包括 能 够 表明 印刷 品 在 面 对 诸如 水 、 运 动 或 温度 变化 之 类 的 环境 因素 时 将 会 如 何 改变 形状 的 测量 结果 。 几 何 学 代码 中 定 
义 了 材料 能 够 卷曲 的 范围 ， 以 及 弯曲 的 方向 、 角 度 和 次 数 。 





在 2013 年 的 TED 演 讲 中 ，Tibbits 展 示 了 四 维 打印 的 概念 : 作为 示例 ， 我 们 看 到 了 仅仅 一 条 四 维 打印 材料 自行 折 老 
成 “MIT”( 麻 省 理工 学 院 ) 这 个 词 的 过 程 ， 如 图 7-3 所 示 。 他 指出 ， 科 学 家 已 经 能 够 对 物理 和 生物 材料 纳米 技术 进行 编码 ， 来 
变 它 们 的 形状 和 性 质 。Tibbits 表 示 ， 让 这 项 研究 在 全 人 类 规模 上 取得 成 就 颇具 挑战 性 ， 但 这 并 没有 阻止 他 的 实验 室 对 这 种 可 
能 性 进行 探索 。 他 将 建筑 学 视 为 应 用 自 组 装 材料 的 最 具 潜力 的 领域 之 一 。Tibbits 说 ， 他 的 实验 室 正 在 与 工业 界 的 伙伴 紧密 合 
作 ， 逐 渐 将 这 个 概念 融入 到 他 们 的 业务 中 。 








x mm I 
和 
WT i Stratasys 
图 7-3: 四 维 打印 材料 自行 折 登 成 “MIT” 一 词 (http://www.selfassem-blylab.net/4DPrinting.php) 


Tibbits 认 为 四 维 印刷 的 另 一 个 极 有 潜力 的 消费 领域 与 运动 相关 。 作 为 例子 ， 他 设想 了 一 双 可 以 根据 使 用 的 环境 来 改变 它们 
的 功能 和 形状 的 运动 鞋 : 


如 果 我 开始 跑步 ， 运 动 鞋 应 该 变 成 跑步 鞋 的 样子 。 如 果 我 打 篮球 ， 它 们 就 会 变 得 更 能 支持 我 的 脚 距 。 如 果 我 在 雨天 的 草地 上 
走路 ， 它 们 应 该 自动 长 出 防滑 钉 或 防水 层 。 当 然 ， 鞋 子 不 需要 理解 你 正在 打 篮 球 ， 但 它 可 以 分 辨 出 你 的 脚 正在 如 何 受 力 或 是 如 何 
发 力 。 它 可 以 根据 环境 压力 或 者 湿度 和 温度 的 变化 ， 自 动 进行 变化 。 


这 个 概念 的 用 途 也 可 以 推广 到 建筑 物 ， 从 而 使 建筑 物 能 够 在 形式 、 结 构 和 用 途上 与 不 断 变化 的 环境 (包括 建筑 物 的 使 用 者 、 
与 之 互动 的 人 ) 互相 吻合 。 例 如， 建筑 物 自身 可 以 根据 天 气 、 光 照 时 间 、 使 用 者 的 背景 和 社交 场景 进行 调整 。 这 样 的 四 维 打印 系 
统 可 以 改变 建筑 师 和 工程 师 设 计 和 制造 建筑 物 的 方式 。 


Tibbits 为 我 们 留 下 了 一 个 问题 : “如 果 这 个 世界 的 所 有 人 、 所 有 机 器 、 所 有 材料 都 能 够 精诚 合作 ， 结 果 将 会 怎样 呢 ? 每 种 
存在 都 有 新 的 东西 可 以 提供 ,我 们 可 以 与 各 种 存在 进行 更 丰富 的 交流 。” 随 着 增强 现实 的 发 展 ， 技 术 将 努力 实现 与 不 断 变 化 的 用 
户 需求 和 日 新 月 异 的 环境 的 实时 双向 对 话 。 增 强 现实 将 不 再 是 一 个 喷头 式 的 设计 层面 ， 而 是 一 个 动态 的 、 有 意义 的 、 响 应 式 的 、 
能 够 适应 实时 需求 的 体验 ， 在 这 项 体验 中 ， 用 户 可 以 随时 随地 与 他 的 环境 进行 对 话 。Tibbits 的 概念 可 以 被 整合 到 一 系列 内 置 自 
适应 行为 能 力 的 AR 体验 中 ， 这 项 体验 中 的 每 一 个 物体 都 能 够 作为 活跃 的 响应 对 象 ， 自 行 成 长 以 适应 情境 变化 。 


麻 省 理工 学 院 媒体 实验 室 流 体 界 面 小 组 的 研究 员 Valentin Heun 认 为 ， 增 强 现实 是 用 户 和 环境 之 间 的 双向 对 话 。 Heun 在 
2016 年 于 加 利 福 尼 亚 州 硅谷 举办 的 世界 博览 会 上 的 讲话 中 指出 : 


有 趣 的 是 ， 当 你 将 增强 现实 视 为 一 个 单 向 交流 方式 时 ， 你 获得 的 是 消费 数据 和 消费 视频 之 类 的 媒介 。 但 是 当 你 把 它 看 作 一 个 
双向 链接 时 ， 你 突然 得 到 了 一 个 非常 强大 的 工具 ， 这 个 工具 可 以 说 是 一 把 数字 版 的 瑞士 军刀 ， 你 可 以 用 它 来 改变 世界 。 


Heun 已 经 开发 了 一 个 名 为 “现实 编辑 器 ”的 iOS 应 用 程序 ， 利 用 增强 现实 技术 来 重新 编辑 物理 世界 。 该 应 用 程序 允许 你 通 
过 用 手指 在 智能 手机 或 平板 电脑 的 屏幕 上 绘制 连接 的 方式 ， 与 周围 的 智能 物理 对 象 真正 创建 链接 ， 如 图 7-4 所 示 。 “事实 上 ， 这 
只 是 一 个 开始 ， 我 们 需要 和 弄 清 楚 怎 样 才能 使 我 们 身边 的 物理 存在 非 静 止 地 连接 起 来 ， 以 及 我 们 应 该 如 何 与 它们 互动 。 我 们 只 迈 出 
了 小 小 的 第 一 步 ， 因 为 现在 ,我们 还 不 能 做 到 这 个 程度 。”Heun 在 《Indistinguishable Reality: A Conversation with 
Reality Editor”sValentin Heun》[ "中 提 到 。 他 将 现实 编辑 器 称 为 一 款 数字 工具 一 一 一 把 螺丝 刀 ， 你 可 以 用 它 来 连接 并 操纵 相 
应 的 物理 世界 里 物体 的 表现 。 


该 应 用 程序 尚未 成 为 成 熟 的 市 场 产品 ， 现 阶段 它 运 行 在 一 个 名 为 Open Hybrid 的 开源 代码 平台 上 ， 你 可 以 使 用 它 将 虚拟 接 
口 直接 映射 到 物理 对 象 上 。 目 前 ， 我 们 通过 在 物体 上 创建 一 个 标签 (类似 于 二 维 码 ) 来 进行 链接 ， 但 Heun 指 出 ， 这 并 非 必要 ， 
未 来 我 们 会 将 结合 图 像 识别 技 术 将 这 一 功能 内 置 到 应 用 程序 中 。Heun 使 用 Open Hybrid 网 络 创建 了 一 个 成 功 的 示例 ， 他 将 一 萤 
灯 、 一 把 椅子 和 他 的 汽车 链接 了 起 来 ， 从 而 简化 了 下 班 时 的 流程 。 他 说 : “想象 一 下 ， 你 坐 在 椅子 上 这 一 状态 实际 上 是 对 环境 的 
一 个 信号 ， 当 你 离开 时 ， 环 境 会 感知 你 的 离开 ， 并 作出 反应 。” 他 只 需要 从 工作 时 坐 的 椅子 上 站 起 来 ， 走 出 门 ， 灯 会 自动 熄灭， 
他 的 车 也 会 自动 被 激活 并 启动 ， 车 内 的 空调 已 调 至 恰当 的 温度 。 





图 7-4: 在 “现实 编辑 器 ”中 ， 用 户 可 以 通过 手机 来 控制 现实 生活 中 的 物体 (http:/ /realityeditor.org/) 


使 用 Open Hybrid， 你 还 可 以 择 取 某 个 物体 的 功能 ， 并 把 它 添加 到 另外 一 个 物体 上 一 一 只 需要 从 应 用 程序 中 由 对 应 的 那个 
组 件 向 下 个 组 件 绘制 一 条 线 就 可 以 了 。 例 如 ， 如 果 你 希望 食物 处 理 器 具有 计时 功能 ， 只 需要 将 智能 手机 或 者 平板 上 的 照相 机 指向 
对 应 的 设备 ， 然 后 使 用 “现实 编辑 器 ”应 用 ， 从 另 一 个 具有 计时 功能 的 物体 (比如 烤 面 包机 ) 画 一 条 线 到 食物 处 理 器 就 可 以 了 。 
此 后 ， 这 两 个 对 象 将 通过 Open Hybrid 服务 器 自动 连接 。 像 “唤起 计算 ”和 “四维 打印 ”一 样 ，“ 现 实 编辑 器 ”可 以 改变 我 们 





的 对 物体 的 使 用 方式 和 物体 自身 的 概念 ， 为 我 们 带 来 了 超出 其 物理 形态 的 可 能 性 。 


Heun 也 讨论 了 物理 存在 和 虚拟 物体 之 间 的 区 别 : 物理 物体 通常 是 静态 的 ， 而 虚拟 物体 是 非 静 态 的 ， 可 以 随时 改变 ， 并 且 可 
以 具有 不 同 的 属性 。“ 所 以 ， 真 正 有 趣 的 是 ， 如 果 你 有 一 个 不 完全 是 静态 的 物理 对 象 ， 那 么 这 个 物理 对 象 实际 上 可 以 改变 它 的 运 
行 方式 ， 我 们 可 以 在 “出厂 之 后 ”再 来 决定 如 何 使 用 它 ，”Heun 说 ，“ 现 在 我 们 有 了 一 个 新 的 挑战 : 从 设计 的 角度 来 看 ， 这 个 
技术 将 会 如 何 发 展 ， 我 们 可 以 用 它 做 些 什么 。” 


增强 现实 技术 有 潜力 改变 我 们 体验 世界 的 方式 ， 甚 至 自行 进化 。 当 我 们 开始 探索 这 些 超 越 了 传统 物理 形式 的 虚拟 功能 时 ， 我 
还 有 两 个 重要 的 问题 要 问 : 在 拥有 了 能 够 设计 任何 东西 的 能 力 之 后 ， 我 们 将 创造 什么 ”我 们 怎样 才能 利用 这 些 新 发 掘 的 能 力 来 最 
好 地 丰富 、 发 展 和 提升 人 类 ? 
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第 8 草 身 为 界面 


在 21 世 纪 ， 技 术 发 展 的 方向 将 会 是 逐渐 进入 我 们 的 生活 ， 随 风 潜 入 ， 润 物 无 声 。 借 助 于 和 日 常生 活 融 为 一 体 ， 技 术 的 影响 将 
会 增加 十 倍 。 随 着 技术 的 内 入 变 得 更 加 微妙 和 隐藏 ， 它 可 以 将 我 们 从 琐事 中 解放 出 来 ， 给 我 们 平静 的 生活 ， 同 时 保持 我 们 真正 重 
要 的 那 一 部 分 联系 。 








一 一 Matrk D.Weiser, 1999 


已 故 的 Mark D.Weiser 是 美国 施乐 PARC ( 帕 洛 阿尔 托 研究 中 心 ) 的 首席 科学 家 ， 施 乐 PARC 是 硅谷 最 受 尊 敬 的 机 构 之 一 ， 
也 是 技术 创新 的 源泉 ， 在 这 里 诞生 了 一 系列 重要 的 计算 机 领域 发 明 ， 如 以 太 网 、 图 形 用 户 界面 (Graphical User 
Interface，GUI) 和 个 人 计算 机 等 。Weiser 设 想 了 一 种 能 够 将 计算 机 嵌入 日 常 物 品 中 的 未 来 ， 即 技术 隐 于 幕后 ， 不 再 分 散 我 们 
的 注意 力 ， 而 是 为 我 们 提供 平静 和 专注 的 生活 。 


1996 年 ， 他 与 施乐 PARC 首 席 技 术 专 家 John Seely Brown 一 起 撰写 了 《The Coming Age of Calm Technology》 这 一 评 
论文 章 。 平 静 技术 可 以 概括 为 技术 的 隐 于 幕后 和 自然 使 用 ， 它 不 会 打 断 或 阻碍 我 们 的 生活 。 所 有 的 技术 都 在 后 台 工 作 ， 只 有 当 你 
需要 的 时 候 才 会 出 现 。 这 也 是 我 个 人 对 增强 现实 的 发 展 的 第 二 次 浪潮 的 核心 观点 : 它 并 不 会 让 我 们 在 形形色色 的 智能 设备 中 迷 
失 ， 而 是 将 技术 隐藏 在 背景 之 中 ， 让 我 们 能 够 作为 纯粹 的 人 类 而 享受 每 时 每 刻 ， 更 深入 地 沉浸 在 围绕 着 我 们 的 现实 世界 中 。 


在 2014 年 的 《Calm Tech，Then and Now》[] 这 一 采访 中 ，Brown 谈 到 了 平静 技术 需要 具有 的 力量 -预见 性 和 适应 
性 。 它 静 静 地 隐藏 在 幕后 ， 感 受 着 你 所 在 的 环境 ， 它 能 够 预见 到 自己 什么 时 候 需要 启动 ， 并 在 没有 指令 的 情况 下 准确 地 行动 起 
来 。 平 静 技术 的 这 个 方面 可 以 和 第 7 章 联系 在 一 起 ， 在 这 一 部 分 ， 我 们 对 能 够 适应 环境 并 不 断 进化 的 虚拟 化 身 进行 了 研究 ， 经 过 
训练 的 “终极 自拍 ”能 够 结合 情境 和 意识 ， 以 你 的 形象 出 现 ， 并 代表 你 行事 。 在 本 章 中 ， 我 们 将 对 平静 技术 的 想法 做 进一步 的 介 
绍 ， 我 们 从 自己 的 身体 开始 增强 的 步伐 ， 以 创造 几乎 无 形 的 界面 。 从 穿 在 身上 的 电子 纺织 品 ， 到 体内 嵌入 芯片 ， 再 到 脑 电 控制 交 
互 ， 技 术 不 仅 将 悄然 隐 于 幕后 ， 而 且 将 变 得 更 个 性 化 ， 与 我 们 更 加 亲密 。 


电子 皮肤 和 和 触 屏 身体 


1996 年 ，Weiser 在 他 主编 的 普 适 计算 网 页 上 写 道 : “ 普 适 计算 与 虚拟 现实 大 致 相反 。 虚 拟 现实 将 人 们 置 于 计算 机 生成 的 
世界 中 ， 而 普 适 计算 则 希望 计算 机 与 人 们 在 现实 世界 中 生活 在 一 起 。” 就 像 普 适 计算 一 样 ， 增 强 现实 (AR) 与 虚拟 现实 (VR) 
的 差异 也 是 类 似 的 。 增 强 现 实在 真实 世界 为 我 们 提供 更 好 的 体验 ， 在 这 个 领域 内 ， 变 得 不 可 见 的 是 技术 ， 而 不 是 现实 或 现实 世界 
中 的 人 。 在 技术 进步 和 普 适 计算 的 协助 下 ， 我 们 有 着 巨大 的 机 会 来 发 展 增强 现实 ， 从 而 改变 我 们 人 存在 的 方式 ， 以 更 少 的 注意 力 分 
获 和 更 深层 次 的 交流 与 周围 环境 相互 作用 。 


对 于 Weiser 而 言 ， 普 适 计算 的 终极 目标 是 “使 计算 机 极为 嵌入 ， 极 为 贴 合 ， 极 为 自然 ， 以 至 于 我 们 甚至 不 用 思考 就 能 够 使 
用 它 ”。 身 体 也 许 是 我 们 拥有 的 最 “自然 ”的 界面 。 可 用 性 研究 专家 Jakob Nielsen 在 《The Human Body as Touchscreen 
Replacement》B] 中 写 到 ，“ 当 你 触摸 你 自己 的 身体 时 ， 你 能 够 完全 感觉 到 自己 触摸 到 了 什么 一 一 并 得 到 比 任何 外 部 设备 都 要 
好 的 反馈 。 而 且 ， 你 永远 不 会 忘记 带 上 你 的 身体 。” 

在 参加 和 机 交互 的 顶级 研究 会 议 《计算 机 系统 中 的 人 类 因素 会 议 》 期 间 ，Nielsen 对 两 个 利用 人 体 本 身 作为 用 户 界面 的 项 目 
印象 深刻 ， 它 们 是 Imaginary Interfaces 计 和 EarPut[ 习 ， 在 其 中 能 够 使 用 身体 而 不 是 屏幕 直接 体验 沉浸 感 ， 如 图 8-1 所 示 。 





图 8-1: 碰 触 手掌 上 的 特定 位 置 就 可 以 执行 相应 的 操作 (https://www.nngroup.com/atticles/human-body-touch-input/) 


虚拟 手机 向 (Imaginary Interfaces 项 目的 一 个 部 分 ) 由 Sean Gustafson、Bernhard Rabe 和 德国 哈 索 . 普 拉 特 纳 研究 院 的 
Patrick Baudisch 设 计 ， 是 一 款 基于 手掌 的 无 屏幕 用 户 界面 设计 。 用 户 界面 是 “虚构 的 ”， 因 为 除了 裸露 的 手掌 心 本 身 没 有 任何 
东西 。 没 有 投影 ， 也 没有 可 视 化 数字 层 。 设 计 虚 拟 手机 的 研究 人 员 之 一 Patrick Baudisch 指 出 ， 在 我 们 刚 开 始 使 用 个 人 数字 助理 

(PDA) 的 时 候 ， 手 写 笔 是 必 不 可 少 的 ， 后 来 随 着 iPhone 和 触摸 屏 的 出 现 ， 对 手写 笔 的 需求 就 慢 慢 消 失 了 。Baudisch 说 ， 他 和 希 
望 我 们 能 够 在 不 依赖 屏幕 这 个 方向 走 得 更 远 。 


虚拟 手机 技术 使 用 放置 在 用 户 上 方 的 小 型 深度 感应 相机 (也 可 以 将 其 佩戴 在 身体 上 ) 来 定位 用 户 手 指 的 位 置 以 及 触摸 的 部 
位 。 即 使 手机 被 放 在 口袋 里 或 者 是 别 的 什么 地 方 而 不 在 视野 范围 内 ， 你 也 可 以 使 用 该 界面 与 自己 的 手机 进行 交互 。Baudisch 指 
出 ， 虚 拟 手机 对 于 我 们 每 天 执行 的 大 量 “ 微 交互 ”非常 有 效 ， 例 如 关闭 逆 钟 、 回 复 语音 留言 或 是 设置 计时 器 ， 这 一 切 事宜 都 可 以 
通过 直接 在 手掌 上 进行 操作 来 完成 ， 而 无 需 接触 手机 。 当 你 触摸 手 上 的 特定 区 域 时 ， 将 会 激活 个 性 化 定义 的 相应 功能 ， 并 与 你 的 
手机 进行 连接 ， 如 图 8-2 所 示 。 





图 8-2: 用 户 通 过 直接 在 手掌 上 进行 操作 来 关闭 闹钟 。 深 度 感应 摄像 头 可 以 实时 定位 手指 的 位 置 从 而 执行 相应 的 功能 


(https://www.youtube.com/watch?v=xtbRen9RYx4&feature=youtu.be) 


研究 人 员 在 正常 使 用 的 情况 下 进行 了 一 系列 的 实验 ， 研 究 对 象 被 证 明 能 够 用 同样 的 速度 在 常规 触摸 屏 手机 或 者 虚拟 手掌 系统 
上 执行 功能 。 然 而 ， 有 趣 的 是 ， 被 蒙 住 眼 睛 的 用 户 在 触摸 手掌 系统 的 时 候 ， 其 操作 速度 是 普通 触 屏 手机 的 两 倍 。 我 们 收集 到 了 许 
多 与 可 访问 性 和 辅助 技术 相关 的 使 用 场景 ， 例 如 言 人 辅助 技术 ， 例 如 当 用 户 视线 受 限 而 无 法 直 视 手机 时 ， 或 用 户 不 想 被 打 断 正在 
进行 的 工作 时 一 一 我 们 不 希望 技术 中 断 人 际 交往 。 


来 自 德 国 达 姆 施 塔 特技 术 大 学 的 研究 人 员 Roman Lissermann、Jochen Huber、Aristotelis Hadjakos 和 Max MuUhlhD]， 
该 原型 提出 了 一 种 使 用 耳 洲 作为 交互 式 界面 的 人 体 触摸 屏 蔡 代 品 。 研 究 人 员 指 出 : “移动 互动 所 面临 的 普遍 挑战 之 一 是 降低 对 于 
界面 设计 的 视觉 需求 ， 把 人 们 的 眼睛 从 界面 上 解放 出 来 。”EarPut 支 持 无 需 视线 单 手 操作 的 手机 互动 。 它 可 以 激活 其 他 非 交 互 
式 设 备 ， 璧 如 普通 的 眼镜 或 耳机 ， 并 补充 现 有 的 头 戴 式 设备 的 交互 功能 。 在 EarPut 的 发 明 伊始 ， 它 是 作为 Google Glass 框架 的 
一 种 基于 触摸 的 扩展 出 现 的 。 


研究 人 员 定 义 了 几 种 EarPut 可 能 的 交互 方式 ， 主 要 包括 接触 耳 洒 表面 的 某 一 部 分 ， 辟 如 牵引 耳垂 (作为 开关 命令 ) 、 上 下 
滑动 手指 (作为 音量 控制 ) ， 以 及 覆盖 耳 朱 (静音 的 自然 手势 ) 。 研 究 人 员 也 为 EarPut 设 计 了 一 系列 远程 控制 功能 ， 包 括 控制 
移动 设备 (特别 是 在 播放 音乐 时 ) ， 控 制 家 用 电器 (如 电视 或 电灯 ) 和 手机 游戏 等 。 


在 利用 我 们 的 耳 打 与 手掌 进行 交互 之 外 ， 麻 省 理工 学 院 的 研究 人 员 还 进行 了 一 系列 研究 ;其 中 包括 Katia Vega 基 于 Beauty 
Technology 开 发 的 应 用 于 脸 部 和 身体 的 导电 化 妆 ， 以 及 由 Cindy (Hsin-Liu) Kao 为 NailO 设 计 的 微缩 拇指 触 控 板 。Kao 还 与 微 
软 研 究 院 合 作 ， 与 研究 人 员 Asta Roseway、Christian Holz、Paul Johns、Andres Calvo 和 Chris Schmandt 共 同 开 发 了 短期 纹 
身 皮 肤 界 面 DuoSkin。 所 有 这 些 项 目 (包括 EarPut 和 lmaginary Interfaces) 都 还 处 于 研究 和 原型 设计 阶段 ， 目 前 还 没有 可 用 的 
商业 产品 。 我 们 可 能 会 选择 首先 将 平静 技术 理念 融入 到 可 穿戴 设备 中 ， 下 一 步 才 是 将 身体 和 皮肤 本 身 作 为 触摸 屏 的 产品 设计 。 


[1] https://hpi.de/baudisch/projects/imaginary-interfaces.htm/。 


[2] https://www.tk.informatik.tu-datrmstadt.de/en/reseatch/tangible-interaction/eatput/。 


响应 式 服 装 的 设计 中 嵌入 了 一 系列 的 传感器 ， 这 些 传感器 可 以 对 用 户 的 背景 、 环 境 、 身 体 和 运动 进行 实时 的 检测 和 响应 。 在 
整合 平静 技术 的 原则 之 后 ， 响 应 式 服装 已 经 可 以 为 我 们 创造 新 的 用 户 交互 体验 ， 同 时 为 增强 现实 设备 的 生态 系统 带 来 新 的 元 素 。 
响应 式 服装 可 以 帮助 引导 你 到 特定 的 地 理 位 置 ， 教 你 学 会 一 段 钢 琴曲 一 一 甚至 包括 其 中 蕴 合 的 情绪 和 表现 力 ， 你 可 以 使 用 生物 
言 号 来 展示 自己 的 兴奋 或 者 疲惫 。 技 术 体 验 正在 慢 慢 转向 以 人 为 本 ,诸如 “导航 外 套 ” 和 “ 归 家 鞋子 ”之 类 的 案例 告诉 我 们 ， 技 
术 不 会 打 断 或 干扰 我 们 的 生活 。 


Dominic Wilcox 创 建 了 一 款 GPS 鞋 子 的 原型 一 一 “ 归 家 鞋子 ”， 能 够 引导 你 到 指定 的 目的 地 。 在 1939 年 摄制 的 电影 《 绿 野 
仙 踪 》 中 有 这 样 一 幕 ， 多 营 西 敲 击 了 一 下 脚后跟 就 回 到 家 乡 ; 受 此 启发 ， 这 款 鞋 子 将 定制 的 地 图 数据 与 GPS 系 统 嵌 入 脚跟 中 ， 可 
以 通过 脚跟 敲 击 激活 。 


作为 导航 旅程 的 第 一 步 ， 我 们 需要 使 用 计算 机 在 Wilcox 开 发 的 定制 软件 的 地 图 上 输入 所 选择 的 目的 地 。 在 计算 机 上 绘制 目 
的 地 后 ， 选 择 “ 上 传 到 鞋子 ”; 然后 通过 直接 插入 鞋 后 部 的 USB 线 ， 将 位 置信 息 传输 给 “ 归 家 鞋子 ”。 现 在 , 拔 下 电 比 ， 穿 上 鞋 
子 ， 敲 击 脚后跟 以 激活 GPS， 开 始 你 的 旅程 。 左 鞋 上 的 一 圈 迷 你 LED 灯 能 够 告诉 你 目的 地 的 方向 ， 而 右 侧 鞋 上 的 进度 条 指示 你 离 
目的 地 还 有 多 远 ， 如 图 8-3 所 示 。 





图 8-3: “ 归 家 鞋子 ”的 设计 ，LED 灯 可 以 清楚 地 指示 前 进 的 方向 和 路 程 (htt nicwilcox rtfolio/gpbsshoe/) 


“导航 外 套 ” 由 澳大利亚 公司 Wearable Experiments 创 建 ， 也 使 用 内 置 的 GPS 系统 ， 结 合集 成 有 震动 触觉 反馈 的 LED 灯 ， 
引导 佩戴 者 去 往 目的 地 。 联 合 创始 人 Billie Whitehouse 表 示 : “我 们 正在 将 旅行 的 艺术 转化 为 免 提 应 用 。” 无需 持 有 任何 智能 
设备 或 用 其 他 的 方式 查看 地 图 ， 这 件 夹克 就 能 把 穿戴 者 带 去 目的 地 。 与 众 不 同 的 是 ， 前 进 的 方向 被 可 视 化 在 衣 袖 上 。LED 灯 展示 


了 离 下 一 个 转弯 的 距离 以 及 旅程 的 总 进度 。 而 振动 装置 则 通过 在 佩戴 者 相应 侧 肩 膀 上 的 轻 轻 一 拍 ， 告 诉 他 们 什么 时 候 应 该 向 哪个 
方向 转弯 。 


Nadi X 健 身 紧 身 裤 是 来 自 Wearable Experiments 的 最 新 项 目 ， 致 力 于 纠正 使 用 者 在 瑜伽 练习 中 的 动作 。 细 小 的 电子 元 件 被 
仔细 编织 在 尼龙 材料 里 ， 以 保证 没有 线头 或 者 其 他 东西 从 精密 的 织造 中 凸 出 ; 这 种 材料 紧 紧 包 囊 在 穿着 者 的 臂 部 、 肤 盖 和 脚 中 
上 。 借 助 于 附带 的 智能 手机 应 用 ， 这 些 电子 元 件 彼此 通信 ， 共 同 检测 佩戴 者 各 个 关节 的 相对 位 置 ， 以 帮助 监视 身体 对 齐 ， 纠 正 动 
作 ， 如 图 8-4 所 示 。 联 合 创始 人 Ben Moir 在 《These Vibrating Yoga Pants Will Correct Your Downward Dog》 [ol 中 
说 : “这 是 一 种 面向 身体 的 无 线 网 络 。 紧 身 衣 的 每 个 部 分 都 拥有 一 个 运动 传感器 ， 它 们 确切 地 知道 每 一 个 关节 的 角度 。” 





STEPS 
LIFT YOUR LEFT ANKLE A BIT HIGHER AND 
Mountain HOLD THE POSE UNTIL YOU FEEL THE FINAL 
VIBRATIONS. 
\ 


b 1 Mountain 











图 8-4: Nadi 又 紧身 衣 ， 只 需要 在 App 中 选择 相应 的 瑜伽 动作 ， 衣 服 就 会 用 震动 来 帮助 你 矫正 姿势 。 左 图 是 可 用 的 动作 列表 ， 右 图 
为 用 户 展示 动作 并 作出 说 明 : “将 你 的 左 脚 踩 抬 高 一 点 ， 直 到 感觉 到 示意 结束 的 震动 为 止 。 


站 二 


(https://www.wearablex.com/products/nadi-x-pant?variant=37335539664) 


像 “ 导 航 外 套 ” 一样 ，Nadi X 利 用 轻巧 的 触觉 振动 来 指导 佩戴 者 。 你 只 需要 在 应 用 程序 中 选择 你 想 监 视 的 瑜伽 姿势 ， 并 多 


许 形态 纠 即 可 正 。 当 你 开始 瑜伽 练习 时 ， 每 进入 一 个 姿势 ， 传 感 器 就 会 对 身体 的 形态 进行 扫描 并 展示 相关 评 佑 报告。 例如， 如 果 
在 Warrior 姿 势 下 ， 你 的 臂 部 向 内 旋转 的 角度 太 大 ， 那 么 你 会 感到 臂 部 有 一 个 向 外 移动 的 振动 信号 ， 就 像 瑜 伽 教练 的 手 正在 指导 
你 的 动作 一 样 。 当 一 切 都 对 齐 在 正确 的 位 置 时 ，Nadi X 紧 身 衣 将 会 发 出 温柔 的 喻 喻 声 。Moir 说 : “触觉 最 大 的 好 处 是 你 在 潜 意 
识 里 处 理 它 们 。 使 我 们 在 做 瑜伽 的 时 候 可 以 不 必 时 时 刻 刻 盯 着 屏幕 把 注意 力 放 在 屏幕 上 ， 或 全 神 贯 注 于 听取 语音 指导 .“ 


Moire 和 Whitehouse 认 为 这 项 技术 不 仅仅 能 为 瑜伽 练习 提供 帮助 ， 还 可 以 为 骑 自 行车 、 拳 击 和 举重 等 各 种 体育 运动 设计 动 
作 矫 正 服装 。 在 他 们 的 设想 中 ， 终 有 一 天 ， 你 的 裤子 可 以 告诉 你 什么 时 候 应 该 离开 你 的 办 公 桌 活动 一 下 ， 或 你 的 衬衫 可 以 提醒 你 
坐 直 一 点 。Whitehouse 说 : “瑜伽 只 是 我 们 的 出 发 点 。 这 项 技术 的 应 用 无 所 不 在 。 


美国 服装 公司 Levi Strauss& Co. 已 经 与 谷歌 的 先进 技术 和 产品 研究 组 (ATAP) 合作 ， 利 用 Jacquard 技 术 (一 种 能 够 实现 触 
摸 交 互 功能 的 导电 纤维 ) 为 消费 者 创造 互动 式 服装 。2017 年 春季 ，“Levi′ sCommuter x Jacquard by Google Trucker 
Jacket” 这 一 产品 会 在 美国 各 城市 推出 ， 此 后 稍 晚会 在 欧洲 和 亚洲 公开 发 布 ， 专 门 为 城市 中 骑 自 行车 上 下 班 的 人 提供 智能 联系 方 
式 ， 而 无 需 物理 上 接触 到 手机 。 通 过 轻 拍 、 摩 擦 或 握 住 左 侧 袖口 ， 用 户 可 以 无 线 访问 他 们 的 智能 手机 以 及 喜爱 的 应 用 程序 ， 包 括 
调整 音乐 音量 、 更 改 音乐 曲目 、 使 电话 静音 、 询 问 预计 到 达 目 的 地 的 时 间 等 ， 这 些 互动 的 细节 让 我 们 想起 Imaginary Phone， 
但 这 一 项 目 并 非 基 于 手掌 和 裸露 的 皮肤 ， 而 是 基于 导电 纺织 品 。Levi Strauss& Co. 全 球 产 品 创新 负责 人 Paul Dillinger 表 
示 : “ 骑 自 行车 的 人 都 知道 ， 在 繁忙 的 城市 街道 上 行驶 时 很 难 接触 和 浏览 手机 屏幕 一 一 那 并 不 是 一 个 好 主意 。 这 件 外 套 有 助 于 
解决 这 个 真实 世界 中 的 问题 ， 成 为 你 的 生活 中 的 “' 副 驾驶 ” ， 不 管 是 在 自行 车 上 ， 还 是 自行 车 下 。 


每 个 用 户 都 可 以 使 用 Jacquard 平 台 附带 的 应 用 程序 定制 衣服 的 面料 ， 以 及 激活 所 需 功能 的 相关 手势 ， 并 可 以 提前 从 给 定 的 
一 系列 选项 中 配置 主要 和 次 要 用 途 。 谷 歌 的 ATAP 技 术 项 目 负责 人 Ivan Poupyrev 在 《Project Jacquard: Google And 
Levi”sLaunch The First ‘Smart”Jean Jacket For UrbanCyclists》[ J 中 表示 : “我 们 不 想 定义 什么 功能 是 最 重要 的 ， 所 以 我 
们 给 了 用 户 各 式 各 样 的 类 别 供 选择 。 迄 今 为 目 ， 可 穿戴 设备 只 能 做 一 件 事 ， 而 在 我 们 的 设计 中 ， 这 款 夹 克 可 以 做 任何 你 想 让 它 做 
的 事情 。 


这 款 夹克 的 另 一 个 创新 之 处 在 于 它 是 在 Levi” s 现 有 的 工厂 生产 的 ; 就 像 普 通 的 Levi” s 外 套 一 样 ， 可 交互 面料 可 以 在 Levi” s 
的 织造 机 上 进行 生产 。 将 技术 整合 到 既 有 供应 链 中 的 能 力 使 得 生产 能 够 规模 化 ， 而 不 是 仅仅 一 次 出 产 少量 的 产品 。Poupyrev 
说 : 


令 科 技 公司 大 皱眉 头 的 关键 往往 在 这 里 ， 服 装 是 由 服装 制造 商 制 造 的 ， 而 不 是 由 消费 电子 公司 制造 的 。 因 此 ， 如 果 我 们 真 的 
希望 让 技术 成 为 世界 上 每 一 件 服装 的 一 部 分 ， 那 么 我 们 就 必须 使 得 诸如 Levi”s 或 任何 其 他 品牌 的 服装 制造 商 能 够 制造 这 些 聪 明 
的 服装 。 这 意味 着 你 必须 与 他 们 的 供应 链 展开 合作 。 


Google 正 在 继续 寻求 与 新 合作 伙伴 的 合作 ， 并 正在 探索 其 他 市 场 包 括 田径 运动 、 企 业 定制 服装 和 奢侈 品 曹 销 等 。Poupyrev 
发 现 了 跨越 整个 行业 的 机 会 ， 他 相信 ， 一 旦 产品 推出 ， 消 费 者 会 迅速 陷入 渴望 和 期 待 。 他 强调 说 : “回溯 整个 服装 发 展 的 历史 ， 
你 可 以 看 到 技术 如 何 一 步 步 卷 入 其 中 ， 为 之 增加 新 的 功能 ， 璧 如 尼龙 和 拉链 在 服装 史上 的 地 位 。 在 这 一 点 上 ， 新 技术 成 为 未 来 服 
装 流行 的 另 一 个 要 素 是 天 经 地 义 的 事情 。 一 旦 智能 面料 推广 到 大 众 市 场 ， 它 几乎 就 像 是 一 款 新 的 特权 。 世 界 各 地 的 人 们 都 会 对 此 
产生 期 待 。” 


当 可 穿戴 设备 成 为 我 们 日 常生 活 的 一 部 分 时 ， 我 们 将 会 拥有 什么 样 的 新 礼仪 和 生活 方式 呢 ? 作为 一 位 设计 师 ，Daan 
Roosegaarde 对 这 个 问题 进行 了 探索 。Roosegaarde 将 可 穿戴 式 电脑 视 为 身体 机 能 的 一 部 分 ， 就 像 出 汗 或 脸红 一 样 。 他 提出 了 
一 款 “ 杀 密 连 衣 裙 ” 的 概念 ， 这 款 裙 子 由 不 透明 的 智能 电子 箱 制 成 ， 在 与 关系 密切 的 人 展开 亲密 接触 时 ， 将 会 变 得 越 来 越 透明 。 
衣服 透明 度 水 平 决定 于 佩戴 者 的 心跳 速度 ， 也 展现 了 社交 关系 的 深度 。 例 如 ， 当 你 变 得 兴奋 或 受到 刺激 时 ， 心 跳 将 会 加 快 ， 而 服 
装 变 得 更 加 透明 。 


Roosegarde 前 述 了 自己 对 这 款 可 穿戴 设备 的 设计 : 当 某 特定 对 象 在 场 的 时 候 ， 它 会 以 相应 的 方式 做 出 反应 ， 而 当 其 他 人 在 


场 时 ， 则 采取 中 立 的 行为 。 他 这 样 形 容 说 : “就 像 你 跟 男 朋友 会 以 特定 的 方式 聊天 一 样 ， 你 和 我 谈话 的 方式 也 会 不 一 样 。 虽 然 我 
们 都 讲 同一 种 语言 ， 我 们 都 是 人 类 ， 但 是 你 的 表达 方式 将 全 然 不 同 。“ 


Roosegarde 还 进一步 提出 了 假设 : 让 衣服 提出 建议 。 他 以 在 线 零售 商 亚马逊 为 例 ， 当 你 购买 一 本 书 时 ， 你 可 能 想 要 购买 的 
其 他 书籍 是 根据 你 的 个 人 偏好 以 及 你 朋友 的 喜好 来 建议 的 。Roosegarde 的 想法 受 第 7 章 中 描述 的 增强 现实 中 认 知 计算 的 启发 ， 
你 的 个 人 助理 将 不 再 仪 限 于 智能 手机 ; 相反 ， 它 是 无 所 不 在 的 ， 当 然 也 可 以 存在 于 你 的 衣服 里 。 


将 技术 验 入 体内 


也 许 就 在 不 久 的 将 来 ， 作 为 人 体 庶 入 式 系统 (微型 计算 设备 嵌入 体内 ) 的 例子 ， 在 这 里 我 们 不 妨 认 为 : 技术 将 成 为 : “ 自 
然 ”， 它 将 会 成 为 我 们 生理 上 的 一 部 分 ， 并 在 物理 上 融入 到 我 们 的 身体 中 ， 科 技 将 会 成 为 我 们 本 身 ; 科技 与 人 类 不 再 被 分 开 ， 我 
们 将 成 为 增强 人 类 。 


响应 式 服装 的 下 一 步 发 展 是 将 可 穿戴 设备 谋 入 我 们 的 身体 ， 将 技术 植 入 皮肤 之 下 。 辟 如 说 通过 耳 灯 ， 我 们 可 以 自然 而 然 地 把 
技术 植 入 体内 ， 用 于 增强 听力 。 这 也 可 能 是 第 一 个 非 侵 入 性 的 步骤 ， 因 为 我 们 已 经 习惯 于 将 耳塞 、 蓝 牙 无 线 耳 机 或 者 助听器 之 类 
的 物品 放 入 耳 打 。 


如 第 4 章 中 所 述 ， 由 Valencell 的 PerformTek 生 物 识别 传感器 技术 驱动 的 iRiver ON Bluetooth 耳 机 配备 了 一 个 棋子 大 小 的 传 
感 器 ， 能 够 仅 通 过 向 耳 米 里 面 投 入 一 束 光 ， 就 跟踪 你 的 心率 、 燃 烧 的 卡路里 以 及 运动 速度 和 距离 。 与 智能 手机 上 的 应 用 程序 配对 
之 后 ， 设 备 会 在 锻炼 过 程 中 捕捉 到 你 的 生物 识别 信息 ， 在 你 耳 边 通知 你 的 心率 现在 位 于 哪个 区 间 ， 以 及 是 否 达到 了 卡路里 燃烧 目 
标 。 数 据 被 实时 发 送 到 智能 手机 应 用 上 ， 使 你 可 以 在 运动 之 后 查看 相关 的 生理 指标 。 

这 种 基于 耳 打 的 小 配件 最 大 的 好 处 是 我 们 几乎 看 不 见 它们 ， 这 可 能 吸引 那些 不 希望 自己 的 设备 引起 别人 注意 的 人 。 设 计 咨 询 
公司 Lunar 总 裁 John Edson 指 出 : “目前 的 发 展 趋势 是 技术 隐形 ， 而 耳 朱 是 隐藏 电子 产品 的 绝 佳 位 置 。” 可 穿戴 相机 公司 
Looxcie 的 创始 人 Romulus Pereira 说 : “在 生活 中 ， 我 们 经 常 需 要 用 到 双手 。 有 眼镜 和 手腕 已 成 为 探索 可 穿戴 技术 的 最 佳 选择 。 
而 在 这 些 可 见 装置 的 背后 是 许多 我 们 看 不 见 的 东西 。” 而 这 些 看 不 见 的 “东西 ”将 随 着 传感器 和 处 理 器 变 得 越 来 越 小 ， 从 而 离 我 
们 的 身体 越 来 越 近 ， 甚 至 嵌入 在 皮肤 之 下 。 

术语 “打磨 者 ” 指 的 是 “生物 黑客 ”社区 成 员 ， 他 们 正在 探索 使 用 外 科 植 入 物体 进行 感觉 放大 和 增强 。Richard Lee 是 一 位 
著名 的 打磨 者 ， 他 解释 说 “打磨 者 ”这 个 术语 来 自 电 子 游 戏 。“ 在 游戏 中 ， 打 磨 操作 能 够 有 条 不 京 地 提高 你 的 人 物 属性 。 在 几 个 
小 时 的 打磨 之 后 ， 你 就 可 以 获得 相应 的 技能 或 能 力 提 升 。” 他 表示 ，“ 这 个 名 字 浑 然 天 成 ， 因 为 它 就 像 是 我 们 所 采用 的 方法 一 
样 : 不 断 地 有 条 不 亲 地 进行 打磨 ， 试 图 发 现 更 多 的 东西 。”[9 

Lee 正 在 试验 手术 植 入 耳机 ， 试 图 在 自己 的 耳 打 里 嵌入 磁性 扬声器 。 除 了 能 够 听 音 乐 之 外 ，Lee 告 诉 我 们 : “手术 植 入 的 耳 
机 才 是 真正 的 “入 耳 式 ”， 借 助 智 能 手机 上 的 GPS 在 城市 街道 上 徒步 旅行 的 同时 ， 我 可 以 用 自己 的 眼睛 看 到 一 切 。” 虽 Lee 的 身 
体 上 多 了 一 个 小 小 的 疤痕 ， 他 的 衬衫 下 面 还 隐藏 着 一 个 卷曲 的 项 链 一 一 这 些 配 置 很 难 被 其 他 人 发 现 。Lee 将 自己 设计 的 线圈 戴 在 
脖子 上 ， 它 能 够 创造 一 个 磁场 ， 使 得 嵌入 在 耳 打 里 的 扬声器 振动 并 发 出 声音 。 

Lee 的 右 眼 正 在 逐渐 失明 。 他 计划 将 他 的 新 系统 连接 到 超声 波 测 距 仪 上 ， 以 便 能 够 听 到 “物体 越 来 越 近 或 越 来 越 远 的 时 候 发 
出 的 喻 喻 声 ”， 他 希望 自己 的 听力 能 够 变 得 像 蝙蝠 一 样 。Lee 说 : “体内 嵌入 式 系统 将 允许 我 们 拥有 许多 “新 的 感官 。” 癌 


他 指出 ，“ 打 磨 者 ” 界 的 大 多 数 人 以 一 种 磁性 手指 植 入 物 作 为 开始 的 仪式 。“ 你 在 自己 的 指 尖 插入 一 个 特殊 的 生物 磁铁 ， 神 


经 能 够 围绕 着 磁铁 重新 生长 。 之 后 ， 每 当 你 通过 磁场 时 ， 磁 铁 会 产生 感应 ， 让 你 感觉 到 磁场 的 存在 。” 他 解释 说 ，“ 一 旦 肉 入 了 
磁性 手指 植 入 物 ， 你 就 拥有 了 能 够 感受 到 磁场 的 能 力 ， 突 然 之 间 ， 你 意识 到 还 存在 着 一 个 看 不 到 的 世界 ， 而 你 的 一 只 脚 已 经 踏 入 
其 中 ， 拥 有 了 感觉 到 那个 世界 的 能 力 。” 在 下 一 段 中 ， 他 进一步 针对 那些 人 类 可 能 无 法 察觉 或 看 到 的 频谱 以 及 相关 领域 做 出 了 评 
论 : 

如 果 我 们 能 看 到 这 些 东 西 ， 而 不 是 凭空 想象 ， 人 类 将 会 被 增强 到 何 种 程度 ? 当 你 看 到 某 些 东西 时 ， 你 可 以 获得 有 关 这 些 领域 


的 直观 知识 。 所 以 ， 感 官 的 增强 和 扩展 一 直 是 我 认为 最 重要 的 事情 之 一 ， 如 果 能 够 增加 你 所 能 看 到 和 体验 到 的 ， 你 对 现实 的 洞察 


力 就 会 自然 而 然 地 增加 ， 你 会 对 身边 的 这 个 世界 究竟 是 什么 样子 有 更 深刻 的 感受 。 我 想 ， 这 就 是 我 们 的 最 终 追 求 。 








FutureMed 的 执行 总 监 以 及 Singularity 大 学 的 医学 和 神经 科学 系 主席 Daniel Kraft 博 士 , 在 《Hacking humans: Building 
a better you》" “中 提出 : “我 认为 达到 这 个 目的 的 一 个 步骤 是 通过 “黑客 ”技术 使 残疾 人 变 成 超 能 力 者 。” 

英国 男子 Trevor Prideaux 在 出 生 时 就 没有 左前 臂 ， 他 在 自己 的 假肢 上 财 入 了 一 个 智能 手机 链接 系统 ， 使 得 自己 可 以 把 用 膊 
放 在 耳 打 上 接听 电话 ， 如 图 8-5 所 示 。 现 代 的 “增强 医疗 ”技术 发 展 有 上 升 的 趋势 ，Kraft 指 出 ，“ 以 下 这 些 技术 正在 以 指数 爆炸 
的 方式 增长 : 小 型 设备 、 连 接 计 算 和 大 数据 。” “那么 ， 以 这 些 新 的 方式 增强 我 们 的 身体 ， 真 的 能 够 使 我 们 获得 超 能 力 变 成 超 
人 吗 ? 





图 8-5: Ttrevot Prideaux 在 自己 的 假肢 上 谱 入 了 电话 ( 


) 


杜 克 大 学 新 闻 与 媒体 研究 系 学 生 Cassie Goldring 在 《Man or Cyborg: Does Google Glass Mark the End of True 
Humanity? 》! :中 写 了 对 技术 增强 人 类 这 一 领域 的 看 法 ， 与 我 不 谋 而 合 : 


我 们 可 以 选择 将 这 些 技术 进步 视 为 对 人 类 的 最 终 威胁 ， 或 者 也 可 以 将 它们 看 作 是 帮助 我 们 变 得 更 加 人 性 化 的 手段 。 只 要 我 们 
在 技术 进步 中 保持 强大 的 人 文 视 野 ， 认 为 这 些 技术 是 我 们 的 延伸 ， 而 不 是 相反 ， 我 们 的 人 性 就 会 永远 占 上 风 。 


以 人 为 本 的 体验 是 第 二 波 增 强 现 实 技术 的 核心 ， 这 也 包括 同 那些 能 够 延伸 我 们 自然 能 力 的 设备 进行 整合 。 我 相信 Goldring 
已 经 很 好 地 总 结 了 这 些 悬 而 未 决 的 问题 以 及 未 来 的 各 种 可 能 ， 他 说 : “我 们 不 应 该 将 诸如 谷歌 眼镜 这 样 的 设备 看 作 是 创造 超人 的 
一 个 令 人 绝望 的 实验 ， 而 应 该 将 其 视 作 能 够 激发 我 们 作为 人 类 的 全 部 潜力 的 尝试 ， 它 们 将 会 以 新 的 方式 连接 我 们 ， 并 最 终 使 我 们 
更 深入 地 了 解 彼此 。” 


梦想 成 真 


作为 一 套 软 硬 件 系统 ， 人 脑 计 算 机 接口 (Brain Computer Interfaces，BCI) 可 以 让 你 用 大 脑 直接 控制 计算 机 ， 这 为 我 们 
提供 了 一 种 与 周围 的 世界 进行 连接 和 互动 的 新 方式 。 开 发 BCI 可 穿戴 设备 的 电子 公司 Emotiv 的 创始 人 兼 首席 执行 官 Tan Le 在 
2010 年 TED 的 演讲 《A headset that reads your brainwaves》012] 中 谈 到 : 


我 们 的 愿景 是 将 这 个 全 新 的 人 机 交互 领域 引入 到 当下 的 交互 方式 中 ， 使 计算 机 不 仅 能 够 理解 你 想 要 让 它 做 什么 ， 而 且 还 能 够 
对 你 的 面部 表情 和 情感 体验 做 出 反应 。 电 脑 能 够 直接 解释 作为 我 们 控制 和 体验 中 心 的 大 脑 自然 产生 的 信号 一 还 有 什么 比 这 更 好 
的 交互 方法 吗 ? 


在 TED 的 舞台 上 ，Le 展 示 了 Emotiv 设 计 的 一 系列 能 够 改变 生活 的 应 用 ， 例 如 意念 控制 的 电动 轮椅 。 


仅仅 通过 大 脑 ，BCI 就 可 以 完成 诸如 单 击 图 标 、 滚 动 菜单 甚 全 输入 文本 这 一 类 鼠标 和 键盘 的 功能 。BCI 已 经 普遍 应 用 于 医疗 
器 械 领 域 ， 但 随 着 可 穿戴 技术 的 普及 ， 让 BCI 走 入 王家 万 户 可 能 不 会 像 我 们 想象 的 那么 遥远 。 像 Emotiv 和 Interaxon 这 样 的 先锋 
公司 已 经 将 低 成 本 的 消费 级 BCI 耳 机 引入 了 市 场 ， 借 助 于 EEG ( 脑 电 图 ) 传感器 ， 它 们 可 以 提供 正念 训练 以 提升 冥想 技能 ， 或 是 
在 工作 时 帮 有 我 们 集中 注意 力 。 


Interaxon 的 创始 人 之 一 Ariel Garten 在 《Mind games》113] 中 表示 : “我 们 最 初 的 想法 是 : 如 何 用 自己 的 想法 来 控制 世 
界 ? 而 现在 ， 对 我 们 来 说 更 重要 的 是 拥有 一 个 能 够 理解 和 适应 你 需求 的 世界 。 这 可 以 帮助 人 们 更 好 地 做 自己 想 做 的 事情 。" 


Neuable 公 司 业务 发 展 副 总 裁 Michael Thompson 认 为 ， 通 过 可 以 创造 直接 扩展 我 们 的 大 脑 功能 的 计算 机 ，BCI 能 够 从 根本 
上 重 塑 我 们 与 个 人 化 技术 的 关系 : 


我 们 的 愿景 是 创造 一 个 没有 限制 的 世界 。 对 于 BCI 技 术 的 传统 用 户 (严重 残疾 人 ) 来 说 ， 这 实际 上 意味 着 使 他 们 能 够 像 任何 
其 他 人 一 样 ， 利 用 技术 获得 极 大 的 利益 。 对 于 整个 人 类 来 说 ， 这 项 技术 也 将 带 来 一 场 想 象 力 和 创造 力 的 革命 ， 我 们 对 此 感到 兴 
奋 。 





Neurable 公 司 正 在 设计 能 够 用 大 脑 控制 增强 现实 和 虚拟 现实 的 软件 。“AR 和 VR 耳机 已 经 开创 了 新 的 领域 ，BCI 将 会 是 转型 
技术 的 下 一 个 革命 性 的 里 程 碑 。”Thompson 表 示 ， “增强 现实 需要 脑 机 接口 来 实现 其 全 部 潜力 。 为 了 解决 “交互 问 
题 ”，Neurable 提 供 了 一 个 直观 而 自由 的 界面 。 


戴 着 Neurable 设 计 的 HoloLens， 你 可 以 用 自己 的 思维 “点 击 ” 主 屏幕 上 的 YouTube 图 标 。YouTube 打 开 后 ， 你 可 以 继续 
输入 想 查 找 的 视频 的 关键 字 。 从 搜索 结果 中 ， 你 可 以 选择 自己 想 要 的 视频 ， 点 击 播放 ， 并 在 最 后 留 下 评论 。 你 将 只 用 自己 的 大 脑 
来 完成 所有 这 一 切 ， 不 碰 到 任何 物理 键盘 ， 也 不 涉及 任何 手势 操作 。 


为 了 达到 这 个 目的 ， 目 前 需要 用 户 佩 戴 一 个 脑 电 图 颅骨 帽 来 与 增强 现实 硬件 (如 HoloLens) 相 结合 。Neurable 提 出 了 自己 
的 观点 : 在 不 久 的 将 来 ，AR 耳 机 制造 商 将 开始 在 他 们 的 耳机 中 嵌入 脑 电 图 传感器 ， 硬 件 将 被 完全 集成 在 一 起 ， 不 再 需要 额外 的 


颅骨 帽 。 


Thompson 认 为 ， 现 有 的 控制 输入 方式 (诸如 语音 和 手势 ) 是 远 远 不 够 的 ， 可 能 会 限制 增强 现实 的 发 展 。 他 说 : “在 增强 
现实 的 企业 级 应 用 中 ， 这 种 情况 尤其 明显 。 当 声音 或 手势 的 操作 效果 不 理想 时 ，Neurable 可 以 结合 HoloLens 一 起 ， 实 现 对 正在 
建设 中 的 建筑 蓝图 的 可 视 化 。 例 如 ， 当 工作 人 员 想 要 在 增强 现实 应 用 程序 中 激活 设计 蓝图 的 电子 滤波 器 时 ， 可 能 由 于 施工 噪声 而 
难以 使 用 语音 命令 ， 或 者 在 操作 机 器 和 使 用 物理 工具 时 ， 难 以 使 用 手势 来 控制 。Neurable 提 供 了 与 增强 现实 进行 交互 的 另 一 种 
方式 ， 帮 助 解决 了 这 个 问题 。 


Neurable 背 后 的 科学 并 不 像 “ 读 心术 ”那么 简单 。Thompson 说 ，“ 没 有 人 能 够 成 功 做 到 读 心 术 ”。Neurable 现 在 的 实现 
方式 是 通过 展示 一 个 选项 菜单 ， 然 后 在 其 中 找 出 用 户 想 要 选择 的 选项 ， 用 户 的 选择 仅 限 于 当前 在 屏幕 上 显示 的 内 容 。 
Thompson 解 释 说 : 





我 们 的 特定 脑 波 与 视觉 诱发 电位 (VEP) 相关 联 。VEP 向 用 户 提 供 一 个 摆 满 了 图 标的 屏幕 就 像 你 的 智能 手机 主屏 幕 一 
样 ， 上 面 有 一 堆 应 用 程序 。 基 于 VEP 的 BCI 能 够 迅速 使 用 视觉 刺激 产生 相应 的 大 脑 反 应 。 当 你 想 要 选择 的 图 标 被 激活 时 ， 你 的 大 
脑 产生 一 个 VEP 脑 电波 。 我 们 的 系统 检测 到 这 个 信号 ， 并 将 其 与 你 想 要 选择 的 项 目 相 匹配 。 


Thompson 也 指出 了 如 何 将 用 户 意图 和 预测 分 析 这 一 重要 组 成 部 分 纳入 Neurable。 他 说 : “这 对 平静 技术 十 分 重要 ， 因 为 
只 有 当 我 们 相信 它 与 之 相关 的 时 候 ， 我 们 才能 向 人 们 提供 相应 的 选择 和 信息 。”Thompson 提 出 ， 软 件 能 够 与 生物 识别 技术 相 
结合 并 做 出 响应 ， 只 展示 最 相关 的 信息 ， 由 此 ， 一 个 人 可 以 使 用 BCI 来 减少 他 的 认 知 负荷 。 为 了 帮助 实现 这 一 点 ， 芬 兰 的 研究 人 
员 正 在 尝试 将 脑 波 分 析 作 为 内 容 组 织 策略 的 一 种 实现 方法 。 


基于 直接 提取 大 脑 信号 的 相关 性 ， 赫 尔 辛 基 信 息 技 术 研究 所 (HIIT) 的 研究 人 员 已 经 成 功 展示 了 针对 新 信息 的 推荐 能 力 。 如 
图 8-6 所 示 ， 研 究 人 员 完成 了 一 项 研究 ， 能 够 使 用 脑 电 图 传感器 来 监测 维基 百科 文章 中 人 们 阅读 文本 时 的 大 脑 信号 ， 结 合 机 器 学 
习 模 型 进行 训练 ， 对 脑 电 图 数据 进行 解读 ， 并 确定 读者 感 兴趣 的 概念 。 使 用 这 种 技术 ， 团 队 能 够 生成 一 个 关键 字 列 表 ， 对 参与 者 
在 阅读 过 程 中 认为 重要 的 信息 进行 标记 。 这 些 信息 可 以 用 来 对 该 参与 者 所 感 兴趣 的 其 他 维基 百科 文章 进行 预测 ， 并 推荐 给 他 。 将 
来 ， 对 于 使 用 相应 的 增强 现实 设备 的 人 ， 这 样 的 EEG 方 法 可 用 于 帮助 过 滤 社 交 媒体 推送 的 信息 ， 或 者 识别 其 感 兴趣 的 内 容 等 。 


研究 员 Tuukka Ruotsalo 说 : “有 关 脑 机 接口 的 大 量 研究 表明 ， 其 主要 工作 领域 是 向 计算 机 发 出 明确 的 命令 。”[14 例 如 ， 
你 想 要 控制 房间 的 灯光 ， 而 且 你 希望 为 此 制定 一 个 明确 的 模式 ， 于 是 ， 你 可 以 尝试 着 明确 地 做 革 件 事情 ， 然 后 电脑 可 以 尝试 从 你 
的 大 脑 中 读 取 它 . 





A 


图 8-6: 科学 家 们 正在 使 用 脑 电 图 传感器 来 监测 人 们 阅读 文本 时 的 大 脑 信号 (https://techcrunch.com/2016/12/14/researchers-use- 


machine-leatning-to-pull-intetest-signals- 人 ffom-teadets-btain-waves/) 


Ruotsalo 说 : “在 我 们 的 案例 中 ， 一 切 都 在 自然 的 发 展 一 一 你 只 需要 像 日 常 一 样 阅读 ， 我 们 并 没有 告诉 你 ， 当 你 碰 到 一 个 
感 兴趣 的 词 时 ， 需 要 抬 起 自己 的 左 臂 或 右 臂 。 所 以 ， 从 某 种 意义 上 说 ， 这 种 互动 纯粹 是 被 动 的 。 你 只 需要 阅读 ， 而 电脑 能 够 自动 
发 现 那些 你 感 兴趣 的 事情 ， 以 及 那些 和 你 正在 做 的 事情 相关 的 词汇 。” 


将 这 个 过 程 与 Neurable 结 合 起 来 ， 可 以 使 AR 在 平静 技术 体验 中 更 加 隐形 ， 用 户 可 以 像 往常 一 样 生活 ， 而 技术 将 会 在 后 台 触 
发 相 天 内 容 。 这 项 技术 可 以 帮助 最 大 限度 地 减少 认 知 负担 ， 尤 其 是 对 于 那 种 可 能 会 接触 到 大 量 信息 的 工作 任务 ， 用 户 往往 需要 记 
住 多 个 事情 。 这 样 的 系统 可 以 用 来 为 信息 密集 型 任务 标记 重要 性 ， 并 在 稍 后 提醒 你 重新 审视 那些 更 有 趣 的 事情 。 


“我 们 已 经 在 数字 世界 中 留 下 了 各 种 痕迹 。 我 们 正在 研究 过 去 看 过 的 文档 ， 也 许 会 粘贴 一 些 数字 内 容 ， 以 便 其 能 够 自动 记录 
下 来 ，”Ruotsalo 说 。“ 然 后 ， 我 们 表达 了 对 不 同 服务 的 各 种 偏好 ， 不 管 是 通过 评分 ， 还 是 点 击 “喜欢 ” 按钮。 似乎 现在 都 可 
以 通过 大 脑 阅读 。” 


Ruotsalo 同 时 指出 ， 从 一 个 人 的 头脑 中 获得 兴趣 信号 所 带 来 的 潜在 影响 可 能 也 是 一 个 小 小 的 不 确定 性 ， 特 别 是 在 考虑 如 何 
根据 用 户 兴趣 调整 营销 信息 的 时 人 息 。 他 说 : “ 换 句 话说 ， 针 对 性 广告 投放 的 字面 意思 是 阅读 你 的 意图 ， 而 不 只 是 跟踪 你 的 点 击 。 


Ruotsalo 希 望 这 种 技术 也 可 以 对 其 他 领域 产生 积极 影响 。 他 认为 : “信息 的 检索 或 推荐 是 典型 的 过 滤 问 题 ， 对 吗 ? 所 以 ， 
我 们 应 该 为 信息 提供 过 滤 ， 最 终 只 推荐 那些 有 趣 或 者 与 之 相关 的 信息 给 用 户 。 我 认为 这 是 现在 最 大 的 问题 之 一 ， 现 有 的 大 部 分 系 
统 都 只 是 试图 向 我 们 推送 所 有 东西 ， 包 括 那 些 可 能 并 不 需要 的 。 


我 们 引用 了 平静 技术 先驱 者 Mark Weiser 的 预言 作为 本 章 的 开始 。 现 在 ， 让 我 们 以 他 另 一 个 预言 来 作为 本 章 的 结束 : “二 十 
一 世纪 的 稀缺 资源 不 是 技术 ， 而 是 注意 力 。” 随 着 新 的 技术 正在 不 断 增 强 我 们 的 环境 、 身 体 和 思想 ， 如 何 把 关注 的 重点 放 在 对 那 
些 真 正 重要 的 事情 上 将 成 为 关键 ， 我 希望 平静 技术 的 发 展 能 够 有 助 于 实现 集中 注意 力 这 一 意图 ， 而 不 是 分 散 注意 力 或 是 将 我 们 引 
入 其 他 方向 。 我 们 设计 技术 ， 反 过 来 ， 技 术 也 会 设计 我 们 。 我 们 设计 的 现实 应 该 与 人 类 的 价值 观 相 一 致 。 现 在 比 以 往 任何 时 候 都 
值得 提出 这 样 一 个 问题 ， 在 这 个 新 的 增强 世界 中 ， 我 们 想 要 以 怎样 的 方式 生活 ? 
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第 9 草 ”机 会 爆炸 


增强 现实 (AR) 的 第 一 波浪 潮 提出 的 主要 问题 是 “我 们 能 做 到 这 一 点 吗 ? ”。 它 主要 关注 的 是 技术 ， 而 不 是 内 容 或 体验 设 
计 。 

增强 现实 的 第 二 波浪 潮 则 提出 了 这 样 一 个 问题 “现在 我 们 已 经 知道 了 自己 可 以 做 到 这 一 点 ， 那 么 要 如 何 使 用 这 项 技术 
呢 ?” 现 在， 关注 的 重点 已 转移 到 如 何 使 用 技术 为 用 户 创造 有 意义 的 体验 了 。 


随 着 增强 现实 的 发 展 ， 技 术 的 应 用 已 经 逐步 成 熟 ，AR 在 提升 体验 上 的 实力 已 经 有 目 共 睹 。 本 章 中 举 了 一 些 新 的 例子 ， 也 回 
顾 了 一 些 前 面 章节 中 曾经 出 现 过 的 例子 。 在 这 里 ， 我 结合 自己 迄今 为 止 在 现场 所 经 历 的 增强 现实 体验 ， 把 所 有 的 案例 分 门 别 类 进 
行 了 整理 ， 总 结 出 了 艺术 家 和 设计 者 们 能 够 如 何 结合 AR 的 发 展 ， 将 其 作为 一 个 能 够 让 人 身 临 其 境 的 体验 媒介 ， 为 我 们 带 来 更 多 
的 可 能 和 惊喜 。 


增强 现实 可 视 化 体验 


作为 一 种 可 视 化 体验 ，AR 技 术 让 变形 成 为 可 能 ， 使 得 物体 的 状态 可 以 随 着 时 间 的 变化 而 变化 。 这 一 类 体验 往往 可 以 通过 所 
在 的 上 下 文 进行 可 视 化 ， 与 现场 环境 无 颖 融合 ， 从 而 为 变形 赋予 更 大 的 意义 。 


对 未 来 世界 的 体验 往往 是 增强 现实 技术 应 用 的 常客 ， 然 而 ， 历 史 也 可 以 在 增强 现实 中 被 很 好 地 展示 ， 就 像 希腊 奥林匹亚 考古 
遗址 的 Archeoguide 这 类 历史 娱乐 和 文化 遗产 项 目 一 样 。 通 过 Archeoguide， 历 史 纪念 碑 能 够 以 可 视 化 的 形式 为 我 们 展示 某 个 
地 方 的 历史 景观 。 这 类 技术 还 可 以 为 我 们 描绘 未 来 的 状态 ， 例 如 建筑 蓝图 展示 以 及 房地产 可 视 化 ， 为 我 们 显示 建筑 物 在 特定 位 置 
建成 之 后 的 样子 。 


使 用 AR 进行 可 视 化 这 一 技术 领域 也 适用 于 零售 和 购物 体验 。 当 我 们 装修 房屋 时 ， 可 以 使 用 Pottery Barn AR 三 维 空间 设计 应 
用 ， 在 Tango 手 机 上 预览 打算 购买 的 家 具 ， 如 图 9-1 所 示 。 当 我 们 想 要 尝试 不 同 的 化 妆 品 时 ， 可 以 使 用 店内 的 售 货 亭 或 智能 手 
机 ， 借 助 丝 关 兰 的 虚拟 艺术 应 用 Modiface 查 看 自己 的 妆容 。 我 们 甚至 可 以 在 智能 手机 上 使 用 AR 应 用 程序 InkHunter 预 览 纹身 在 
自己 身体 上 出 现 的 样子 。 这 些 增 强 现 实 可 视 化 技术 能 够 很 好 地 提升 人 们 的 购物 体验 ， 它 们 为 我 们 提供 了 “ 试 后 再 买 ”这 一 方案 ， 
大 大 减少 了 消费 者 后 悔 的 可 能 。 





图 9-1: 在 Pottery Barn AR 应 用 中 ， 用 户 可 以 在 自己 的 房间 中 自由 地 拖 动 家 具 ， 实 时 查看 摆 放 效果 


(https://www.youtube.comy/watchpv=4t72wufxihg&cfeatute=youtu.be) 


作为 可 视 化 体验 ， 增 强 现实 技术 也 可 以 应 用 于 视觉 困难 、 有 眼睛 不 适 或 者 情况 不 允许 的 时 候 。 我 的 AR 立 体 书 《Who' sAfraid 
of Bugs”》 探 讨 了 AR 的 另 一 种 使 用 方式 ， 即 通过 讲 故 事 的 方式 来 协助 恐惧 症 的 暴露 治疗 。 整 本 书 中 从 头 到 尾 都 会 在 用 户 手 中 投 
影 出 各 种 令 人 毛骨悚然 的 虫子 ， 璧 如 虚拟 狼 蛛 等 。 西 班 牙 jaume 大 学 的 研究 人 员 在 AR 治疗 螃 晴 恐 惧 症 方面 的 研究 [已 经 表明 ， 
增强 现实 在 暴露 治疗 中 十 分 有 效 一 一 所 有 参与 者 都 有 显著 的 改善 。 在 《TreatingCockroach Phobia With Augmented 
Reality》[ 中 ， 一 开始 研究 对 象 对 暗 旺 的 恐惧 已 经 影响 到 了 日 常生 活 ， 此 后 逐渐 好 转 ， 直 到 能 够 通过 如 下 测试 : 首先 步 入 房 
间 ， 然 后 用 容器 捕获 蜂 螂 ， 之 后 打开 盖子 ， 并 将 自己 的 手 放 入 容器 中 至 少 几 秒 钟 。 


增强 现实 技术 也 可 以 用 来 局 发 和 激励 那些 对 健康 有 益 的 实践 ， 观 察 我 们 的 选择 在 未 来 可 能 产生 的 效果 ， 并 帮助 可 视 化 医疗 手 
段 的 影响 。Modiface 采 用 了 与 丝 天 兰 虚 拟 艺术 应 用 相同 的 面部 追踪 和 模拟 技术 ， 以 帮助 用 户 预览 牙科 和 整容 手术 的 可 能 结果 ， 
并 与 日 本 最 大 的 保险 公司 Dai-lchi Life 合 作 设计 了 “健康 促进 ”应 用 程序 ， 能 够 借助 AR 技术 拍摄 人 类 衰老 之 后 的 照片 ， 来 模拟 抗 
衰老 举措 和 体重 控制 所 带 来 的 变化 。 


增强 现实 注释 体验 


例如 文本 或 者 像 箭头 和 光标 这 类 指示 图 形 等 额外 信息 常常 能 够 结合 增强 现实 技术 用 于 指示 物理 对 象 和 空间 ， 在 修理 、 协 作 、 
导航 、 探 险 和 旅游 等 应 用 领域 中 起 到 很 大 作用 。 在 经 历 某 个 事件 或 者 穿 过 某 个 地 点 的 时 候 ， 无 论 是 在 视觉 线索 方面 ， 还 是 在 语言 
导 览 方面 ， 增 强 现 实 注释 体验 能 够 为 我 们 带 来 更 好 的 介绍 和 指导 。 


在 维修 和 维护 体验 上 ， 增 强 现实 注释 技术 也 已 经 被 广泛 应 用 ， 人 们 不 再 需要 查阅 纸 质 的 手册 。 如 图 9-2 所 示 ， 针 对 壁 如 更 换 
打印 机 的 碳 粉 盒 这 种 任务 ， 用 户 能 够 借助 AR 中 逐步 的 三 维 直 观 指 示 ， 在 现实 中 所 看 到 的 层面 上 对 其 进行 修理 。Scope AR 为 此 建 
立 了 内 容 分 享 平台 WorkLink， 用 于 将 传统 纸 质 工 作 手册 转换 为 AR 注释 指令 。 无 需 任何 编程 知识 ， 人 们 就 可 以 使 用 WorkLink 编 
写 和 发 布 这 些 增强 现实 使 用 手册 。 





图 9-2: 在 更 换 打 印 机 的 碳 粉 盒 这 一 任务 中 ， 增 强 现实 技术 能 够 实时 地 逐步 提供 三 维 指导 (http://www.bbc.com/news/business- 
13262407) 


作为 典型 的 注释 体验 ， 增 强 现实 技术 也 正 以 协作 的 方式 被 使 用 。Scope AR 设计 的 Remote AR 软 件 (用 于 企业 级 的 智能 
机 、 平 板 电 脑 和 HoloLens 中 ) 能 够 实时 连接 远程 专家 、 在 线 工作 人 员 、 制 造 业 工程 师 或 现场 服务 技术 人 员 ， 为 人 们 提供 围绕 同 
一 任务 展开 协作 的 机 会 。 所 有 用 户 都 能 够 直接 操作 增强 现实 中 的 事物 ， 同 时 添加 注释 以 锁定 技术 人 员 所 看 到 的 真实 世界 对 象 。 


除 此 之 外 ， 微 软 的 Skype for HoloLens 也 提供 了 免 提 的 远程 注释 协作 体验 ( 见 图 9-3) ， 不 仅 限于 企业 用 户 ， 它 还 可 以 应 用 
于 居家 维修 和 轻 量 级 维护 工作 ， 如 安装 电灯 开关 和 修理 浴室 水 槽 等 。 这 类 服务 也 有 利于 消费 者 服务 和 技术 支持 体验 ， 消 费 者 能 
圭 此 协助 产品 维护 和 调试 。 


增强 现实 注释 技术 也 可 用 于 导航 ， 就 像 由 Tango 提 供 支持 的 家 装 店 铺 Lowe 的 室内 导航 应 用 程序 Lowe Vision 一 样 。 该 应 用 
程序 可 帮助 购物 者 对 产品 进行 搜索 ， 并 借助 AR 在 商店 中 找到 它们 。 定 向 提示 覆盖 在 现实 世界 中 ，3 引 导 顾 客 以 最 有 效 的 路 线 在 商 
店 中 找到 想 要 的 商品 。 这 里 ,增强 现实 以 一 种 动态 寻 路 方式 存在 一 一 人 们 能 够 在 物理 空间 中 定位 自己 ， 并 从 某 处 导航 至 另 一 
处 。 





图 9-3: Skype for HoloLens 的 远程 协作 体验 ， 能 够 全 方位 地 传输 信 息 以 进行 图 示 和 交流 (https://www.youtube.com/watch? 


v=4QiGYtd3qNI&cfeatute=youtu.be) 


此 外 ， 这 种 技术 也 适用 于 旅游 和 探险 ， 就 像 Google Lens 一 样 ， 能 够 帮助 我 们 确认 和 标记 相应 的 旅游 景点 以 及 古迹 ， 也 包括 
博物 馆 和 艺术 画廊 ， 在 其 中 我 们 能 够 共享 所 有 艺术 品 和 工艺 品 的 介绍 。 增 强 现实 的 注释 体验 不 仅 限 于 视觉 ， 正 如 我 们 在 Detour 
应 用 程序 (参见 第 4 章 ) 中 所 看 到 的 那样 ， 用 户 还 可 以 使 用 音频 来 标记 自己 的 位 置 。 增 强 现实 技术 提供 了 分 享 故事 和 信息 的 另 一 
种 方式 ， 为 我 们 带 来 了 远 超 肉 眼 所 能 提供 的 信息 。 





增强 实时 翻译 体验 能 够 帮助 用 户 更 好 地 访问 那些 可 能 存在 潜在 沟通 障碍 的 环境 ， 为 他 们 提供 融入 环境 的 可 能 。 它 主要 包括 书 
面 翻译 、 口 语 翻译 以 及 手语 翻译 。 


谷歌 翻译 可 以 使 用 智能 手机 将 印刷 体 文本 (例如 路 牌 或 菜单 ) 翻译 成 37 种 语言 ， 当 你 前 往 一 个 不 熟悉 当地 语言 的 国家 时 ， 
这 可 能 会 特别 有 用 。 像 OrCam 这 样 的 辅助 设备 能 够 使 用 AR 技术 来 帮助 视力 受 损 的 人 与 环境 进行 交互 ， 主 要 功能 包括 为 佩戴 者 读 
取 印 刷 文 本 、 识 别 物体 ， 甚 至 识别 已 知人 脸 。 这 个 领域 的 另 一 个 应 用 是 由 加 利 福 尼 亚 州 创业 公司 MotionSavvy 为 听 障 人 士 设 计 
的 平板 电脑 机 箱 UN1， 它 能 够 使 用 运动 传感器 和 手势 检测 将 手语 转换 为 音频 ， 然 后 转换 为 文本 。 增 强 现 实 辅助 技术 拥有 着 令 人 难 
以 置信 的 潜力 和 机 会 ， 能 够 赋予 每 个 人 相应 的 能 力 ， 让 更 多 人 拥有 更 加 美好 的 生活 。 





所 有 AR 体验 都 天 生 拥 有 一 种 能 够 让 人 惊叹 的 魔力 。 当 增强 现实 为 我 们 带 来 更 多 惊喜 的 同时 ， 也 会 激发 我 们 的 好 奇 心 ， 让 我 
们 开始 玩 达 和 探索 。Niantic 推 出 的 基于 位 置 的 AR 游戏 《PokeEmon Go》 已 经 风 摩 全 球 ， 成 为 了 一 种 现象 级 的 体验 ， 在 这 款 游 戏 
中 ， 玩 家 能 够 在 物理 世界 中 对 周围 的 环境 进行 探索 ， 并 在 此 过 程 中 捕捉 神奇 生物 并 对 其 进行 训练 ( 见 图 9-4) 。AR 为 我 们 带 来 的 
魔法 体验 并 不 仅 限 于 游戏 ， 还 包括 一 系列 教育 领域 的 案例 ， 例 如 Dadqri 设 计 的 木 块 元 素 周期 表 ， 能 够 很 好 地 激发 学 习 兴 趣 。 每 个 


木 块 表面 都 描绘 着 代表 不 同 元 素 的 化 学 符号 ， 当 你 把 两 个 元 素 块 放 在 一 起 时 ， 就 有 相应 的 化 学 反应 以 增强 现实 的 方式 被 神奇 地 描 
绘 出 来 ， 如 图 9-5 所 示 。 








图 9-4: 借助 《Pokemon Go》App， 你 可 以 在 现实 环境 中 捕捉 神奇 生物 (https://itunes.apple.com/us/app/pokemon- 
go/id1094591345?mt=8) 





Ghlorine 、 
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图 9-5: Daqti 设 计 的 木 块 元 素 周期 表 ， 将 钠 元 素 和 毛 元 素 放 在 一 起 会 发 生 神 奇 的 反应 ， 变 成 氨 化 钠 
(https://itunes.apple.com/us/app/elements-4d-by-dagri/id782713582) 






这 个 类 别 还 包含 了 超 现实 主义 的 元 素 ， 如 AR 书籍 和 艺术 品 ， 包 括 Camille Scherrer 于 2009 年 发 表 的 《Souvenirs du 
monde des montagnes》 以 及 位 于 法 国 Scene Nationale Albi 的 艺术 品 《Mirages and Miracles》， 这 些 都 为 我 们 带 来 了 在 
现实 中 从 未 见 过 的 富有 想象 力 的 梦幻 景色 。 这 也 再 次 提醒 我 们 ， 增 强 现实 作为 一 项 充满 魔力 的 体验 ， 并 不 需要 局 限于 在 对 现实 的 
完美 再 现 上 。 它 能 够 扩展 我 们 的 想象 力 ， 协 助 我 们 进行 创造 性 的 尝试 ， 而 不 需要 局 限于 现实 世界 中 的 规则 。 


增强 现实 多 感官 体验 


现实 世界 中 不 仅仅 包括 视觉 体验 。 辟 如 Adrian Cheok 的 数字 味觉 交互 、Ultrahaptics 的 触摸 技术 、Doppler Lab 的 Here 
One 增 强 音频 耳塞 、oNotes 的 数字 嗅觉 设 备 等 一 系列 的 产品 和 原型 都 告诉 我 们 : 增强 现实 中 的 其 他 感官 体验 非常 重要 ， 不 应 该 
也 不 能 被 放弃 。 多 感官 增强 现实 体验 可 以 通过 激活 其 他 感官 来 提供 更 深 的 沉浸 感 。 


并 非 世界 上 的 每 个 人 都 能 够 拥有 视觉 能 力 ， 把 AR 扩展 到 人 类 的 其 他 感官 将 为 我 们 带 来 巨大 的 收益 。 访 问 协助 设计 这 一 概念 
对 每 个 人 都 会 带 来 潜在 影响 ， 而 不 仅 仪 是 针对 某 个 被 边缘 化 的 群体 ， 正 如 在 第 4 章 中 提 到 的 那样 ，Bil Buxton 针 对 “如 何 为 大 多 
数 人 进行 设计 ”这 一 领域 提出 了 令 人 感动 的 见解 : “如 果 你 能 够 理解 高 度 特殊 的 用 户 需求 并 对 此 作出 专业 的 设计 ， 通 常 最 终 能 够 
得 到 造福 所 有 人 的 结果 。" 


使 用 平静 技术 的 增强 现实 引导 体验 


这 与 上 文 提 到 的 AR 体验 类 别 (注释 体验 ) 完全 不 同 ， 因 为 它 除了 在 视野 中 直接 以 文本 方式 进行 解释 之 外 ， 也 将 触觉 或 其 他 
微妙 的 身体 暗示 融入 环境 ， 以 对 用 户 进行 无 微 不 至 的 天 心 和 指导 。 如 我 们 在 第 8 章 中 看 到 的 那样 ， 体 验 范 围 从 基于 位 置 的 引导 场 
景 (将 你 带 到 想 要 的 目的 地 ， 璧 如 那 双 能 够 带 你 回 家 的 GPS 球鞋 ) 到 健身 和 健康 指导 (譬如 Nadi X 健 身 紧 身 衣 ) 。 


平静 技术 的 目的 是 帮助 人 们 集中 注意 力 ， 技 术 只 在 需要 的 时 候 出 现 ， 以 尽量 减少 对 用 户 的 干扰 ， 从 而 使 其 可 以 专注 于 正在 进 
行 的 各 种 活动 。 随 着 技术 的 发 展 ， 我 们 已 经 看 到 了 这 个 研究 领域 的 爆发 式 增长 ， 谋 入 智能 的 服装 将 会 被 越 来 越 多 的 人 穿 在 身上 。 
随 着 我 们 在 增强 现实 中 的 设计 经 验 不 断 发 展 ， 人 们 已 经 形成 了 不 要 让 用 户 认 知 过 载 的 共识 ， 设 计 师 们 正 致力 于 让 用 户 的 注意 力 回 
归 现 实 世界 中 。 


增强 现实 沟通 体验 


为 了 使 AR 真正 成 为 大 众 化 的 媒体 ， 它 所 提供 的 交流 方式 必须 是 多 用 户 的 和 双向 的 。 这 需要 与 远程 投影 、 实 时 协作 和 远 距离 
通信 一 起 使 用 ， 就 像 我 们 在 第 6 章 中 所 讨论 的 那样 。 与 AR 体验 类 别 (翻译 体验 ) 不 同 ， 这 种 体验 的 重点 并 不 是 翻译 。 

作为 沟通 体验 的 AR 为 我 们 提供 了 远程 协作 进行 设计 的 能 力 。 加 拿 大 娱乐 公司 Cirque du Soleil 作 为 全 球 最 大 的 剧场 制作 公 
司 ， 已 经 开始 与 HoloLens 展 开 了 针对 设计 舞台 布景 和 节目 策划 编排 的 合作 ， 如 图 9-6 所 示 。 在 使 用 HoloLens 之 前 ， 他 们 的 大 部 
分 时 间 都 花费 在 蒙特 利 尔 的 Cirque 工 作 室 里 策划 展览 。Cirque du Soleil 的 创作 总 监 Chantal Tremblay 表 示 : “通常 情况 下 ， 必 
须 等 到 完成 剧本 和 选 角 之 后 ， 艺 术 家 们 才 会 来 到 蒙特 利 尔 。 但 现在 我 们 甚至 可 以 一 边 看 着 角色 的 演出 ， 一 边 随时 做 出 改变 。” 四 
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图 9-6: 利用 微软 的 HoloLens，Cirque du Soleil 创 造 了 “真实 ”的 三 台 效 果 (https://www.youtube.com/watch?v=vNz5Rw6TwCw) 


使 用 增强 现实 技术 来 跨越 国界 进行 沟通 和 协作 十 分 重要 ， 特 别 是 在 健康 方面 ， 它 有 可 能 改变 人 们 的 生活 ， 甚 全 挽救 生命 。 
Proximie 的 AR 平台 已 经 从 手术 应 用 领域 切入 市 场 ， 与 世界 各 地 的 医疗 资源 不 足 和 外 科 知 识 不 发 达 的 地 区 (特别 是 在 战争 和 灾难 
地 区 ) 进行 合作 并 分 享 专业 知识 。Proximie 人 允许 远程 专家 拥有 直接 的 交互 式 操作 体验 ， 而 不 需要 物理 上 出 现在 现场 。 借 助 于 
Proximie 平 台 ， 无 论 是 在 平板 电脑 、 计 算 机 还 是 移动 设备 上 ， 用 户 都 可 以 登录 并 与 相应 手术 团队 进行 合作 ， 包 括 外 科 医 生 和 主 
刀 医 师 等 。Proximie 与 Global Smile Foundation、Facing the World、EsSalud Hospital Trujillo、Peru Cleft Program 和 Al 
Awda Hospital、Gaza 合 作 ， 帮 助 外 科 医 生 挽救 那些 原本 无 法 获得 专业 手术 的 病人 的 生命 。 


增强 现实 也 为 我 们 提供 了 一 种 方法 ， 使 得 位 于 不 同 地方 的 家 庭 成 员 能 够 聚集 在 一 起 共享 特定 的 体验 ， 以 弥合 物理 上 的 距离 带 
来 的 鸿沟 一 一 借助 这 一 技术 ， 我 们 能 够 一 起 聚集 在 “这 里 ”。 例 如 Holoportation， 利 用 三 维 采 集 技 术 使 用 户 的 高 质量 3D 模 型 
能 够 传播 到 任何 一 个 地 方 ， 壁 如 一 位 父亲 能 够 使 用 HoloLens 远 程 和 他 的 女儿 一 起 做 游戏 。 这 一 类 系统 改变 了 我 们 创建 、 存 储 、 
> 享 和 重 温 记 忆 的 方式 ， 让 我 们 能 够 记录 和 回放 宝贵 的 共享 记忆 增强 体验 。 正 如 第 7 章 中 所 讨论 的 那样 ， 个 性 化 的 虚拟 化 身 甚 至 
有 一 天 会 成 为 我 们 的 分 身 ， 记 住 我 们 是 谁 ， 并 代表 我 们 永恒 地 存在 下 去 。 





增强 现实 超人 体验 


增强 现实 技术 可 用 来 挖掘 人们 未 曾 体验 的 全 新 感知 频谱 ， 为 我 们 带 来 超越 自然 的 人 类 能 力 。 这 包括 XX% 视 觉 (HoloLens 公 司 
的 HoloAnatomy 与 凯 斯 西 储 大 学 合作 设计 ) 、 热 学 视觉 (Daqri 的 热 成 像 仪 ，、 电 磁场 感应 (皮下 嵌入 式 “ 研 磨 机 ”Bl， 由 Liat 
Clark 开 发 ) ， 我 们 甚至 将 拥有 创造 全 新 感官 的 能 力 。 正 如 第 3 章 中 所 言 ， 神 经 科学 家 David Eagleman 针 对 感官 替代 展开 了 一 系 
列 研究 ， 能 够 通过 不 寻常 的 感觉 通道 将 信息 输入 大 脑 。 


增强 现实 实时 测量 


增强 现实 技术 可 用 于 测量 物理 对 象 的 尺寸 ， 或 是 采集 生物 数据 以 分 析 身 体 的 反应 。 这 个 领域 的 案例 包括 由 Tango 提 供 支 持 的 
Lowe Vision 应 用 ， 该 应 用 程序 使 用 AR 来 测量 环境 中 的 物体 和 空间 ， 以 帮助 进行 硬 装修 和 软 装 饰 。 这 种 增强 现实 测量 体验 也 可 扩 
展 到 人 类 的 身体 ， 由 实时 生物 特征 〈 例 如 压力 水 平 、 佩 戴 者 的 心率 、 排 汗 量 、 脑 电波 活动 和 其 他 身体 信号 ) 触发 增强 现实 交互 。 


微软 的 压力 传 感 专利 “AR 助手 ”提出 了 这 样 一 种 可 能 : 可 能 有 一 天 ， 无 需 任何 询问 ，HoloLens 就 能 够 为 你 提供 帮助 ， 通 过 
头 戴 式 显示 器 呈现 有 用 的 内 容 。 例 如 ， 用 户 因为 会 议 可 能 迟到 而 感到 紧张 ， 而 相应 的 软件 可 以 通过 交叉 检查 日 历来 确认 会 议 的 时 
间 和 地 点 。 基 于 此 ，“AR 助 手 ”专利 将 自动 建议 智能 设备 展示 一 张 地 图 ， 显 示 通 往 会 议 地 点 的 最 快 路 线 。 


包括 Muse 耳 机 在 内 的 其 他 设备 能 够 实时 监视 和 测量 你 的 大 脑 活动 ， 帮 助 进 行政 想来 促进 放松 。 随 着 跟踪 和 监控 身体 性 能 能 
设备 开始 与 AR 硬件 和 软件 相关 联 ， 增 强 现实 体验 可 以 变 得 更 加 个 性 化 ， 结 合 我 们 目前 的 状态 和 所 在 的 环境 ， 不 管 是 在 工作 场所 
或 是 在 家 中 ， 都 可 以 带 来 相应 好 处 。 


普 强 现实 高 度 个 性 化 的 可 定制 体验 


增强 现实 能 够 基于 用 户 的 需求 和 背景 创建 个 性 化 的 现实 ， 用 户 可 以 定义 独一无二 的 、 属 于 自己 的 体验 。 在 高 度 个 性 化 的 增强 
现实 体验 这 一 类 别 中 ， 你 是 增强 世界 的 主人 ， 拥 有 定义 它 的 权利 。 实 时 测量 经 验 为 此 提供 一 种 实现 方式 : 生物 测定 。 这 一 领域 的 
其 他 例子 包括 多 普 勒 实验 室 推出 的 Here One 增 强 音 频 耳 塞 ， 你 可 以 自行 设置 你 的 个 人 音频 空间 体验 ， 比 如 在 飞机 上 、 在 餐厅 里 
或 者 在 音乐 会 上 ;也 包括 像 Valentin Heun 推 出 的 “现实 编辑 器 ”这 样 的 应 用 程序 ， 用 户 能 够 按照 自己 希望 的 方式 连接 和 操作 物 
理 对 象 ， 赋 予 它 们 特定 的 功能 ， 如 图 9-7 所 示 。 现 在 ， 你 可 以 创造 属于 自己 的 现实 。 





图 9-7: 用 户 可 以 在 “现实 编辑 器 ”中 选择 自己 想 要 的 食品 类 型 ， 将 手机 镜头 对 准 货 架 ， 自 己 想 要 的 食品 就 能 被 快速 选 出 
(http //tealityeditot org/ ) 


作为 一 种 新 的 体验 媒介 ， 增 强 现实 能 够 持续 发 展 的 要 素 之 一 是 不 要 将 这 种 责任 以 及 它 所 带 来 的 乐趣 局 限于 计算 机 科学 家 和 工 
程 师 身上 。 艺 术 家 和 工程 师 Golan Levin 指 出 ， 很 早 之 前 艺术 家 们 就 对 当今 的 许多 技术 进行 了 原型 设计 。 为 了 在 未 来 跃 上 一 个 新 
的 台阶 ，Levin 认 为 寻找 使 用 新 技术 的 艺术 家 至 关 重 要 。 


在 《New Media Artworks: Prequels to Everyday Life》 欠 中 ，Levin 写 道 : “一 次 偶然 的 机 会 ， 我 成 为 了 新 媒体 艺术 的 
代表 ， 并 越 来 越 多 地 发 现 自己 能 够 指出 当今 最 普遍 和 广 受 赞誉 的 技术 是 如 何 构思 的 ， 以 及 在 多 年 前 它们 是 如 何 由 新 媒体 艺术 家 进 
行 原型 设计 的 。” 作 为 例子 ，Levin 引 用 了 谷歌 街景 和 谷歌 地 球 ， 如 图 9-8 所 示 。 


Art+Com's Terravision (1996) and Google’s Google Earth (2001, 2005-). 
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图 9-8: Art+Com Tettravision 和 谷歌 地 球 的 比较 ， 前 者 于 1996 年 设计 ， 而 后 者 则 诞生 于 2001 年 


(http://www.flong.com/blog/2009/new-media-artworks-prequels-to-everyday-life/) 


艺术 家 Michael Naimark 发 表 于 1978 年 至 1980 年 的 《Aspen Movie Map》 中 提 到 的 核心 思想 ， 便 是 让 用 户 能 够 通过 交互 
式 的 方式 对 科罗拉多 州 阿 斯 本 的 全 景 街道 进行 浏览 和 探索 ; 而 在 四 十 年 后 的 2007 年 ， 谷 歌 闻名 于 世 的 街景 视图 服务 中 才 真 正 提 
供 了 这 项 功能 。1996 年 ， 由 德国 新 媒体 艺术 家 和 技术 专家 组 成 的 Art+Com 设 计 了 Terravision 款 基 于 卫星 图 像 、 航 拍 数 
据 、 高 度数 据 和 建筑 数据 的 网 络 虚拟 地 球 展 示 ， 用 户 可 以 无 缝 地 在 地 球 表面 进行 探索 ， 可 以 从 太空 中 俯 卫 地球， 也 可 以 欣赏 到 地 
面 上 的 物体 和 建筑 物 的 细节 。 而 Google Earth， 这 一 款 “ 让 你 在 地 球 上 的 任何 地 方 掠 过 ， 看 到 相应 的 卫星 图 像 、 地 图 、 地 形 地 
貌 、 三 维 建筑 等 ， 从 外 太空 星系 一 路 走 到 地 球 上 海洋 和 峡谷 ”的 应 用 ， 最 初 名 为 地 球 观测 器 ， 由 Keyhole Inc. 创 建 于 2001 年 (这 
家 公司 于 2004 年 被 谷歌 收购 ) 。Terravision 和 Google Earth 之 间 的 一 个 显著 区 别 是 Google Earth 集成 了 用 户 生成 的 地 图 注释 ， 
允许 用 户 保存 和 分 享 他 们 最 喜欢 的 地 方 。Levin 写 道 : 





在 菜 些 情况 下 ， 我 们 可 以 找到 一 款 拥有 菜 个 人 原创 艺术 理念 的 风格 明确 的 代表 作 ， 提 前 几 十 年 发 布 到 世界 上 一 一 这 一 创造 在 
当时 看 上 去 是 毫 无 用 处 或 不 切实 际 的， 甚至 可 能 不 被 大 众 所 接受 。 然 而 ， 在 复杂 的 链 式 影 响 之 后 ， 这 一 设计 被 重新 解释 ， 并 被 计 
算 机 的 迅速 发 展 所 吸收 ， 作 为 日 常用 品 ， 甚 至 成 为 文化 的 一 部 分 。 





正如 施乐 PARC、 麻 省 理工 学 院 媒体 实验 室 、 雅 达 利 研究 实验 室 所 展示 的 那样 ，Levin 强 调 了 艺术 家 作为 必 不 可 少 的 一 部 分 
在 研究 新 技术 中 的 重要 性 。 他 指出 ， 艺 术 家 常常 能 够 提出 一 个 全 新 的 问题 ， 打 破 人 们 的 思维 定式 。Levin 认 为 ， 在 《 奔 向 未 来 的 
路 上 ， 我 们 需要 艺术 家 的 帮助 ， 一 起 探索 技术 所 能 带 来 的 社会 影响 以 及 体验 上 的 各 种 可 能 。 他 同时 指出 ， 艺 术 设计 或 是 投机 实验 
常常 是 技术 实现 必 不 可 少 的 开始 。 


在 增强 现实 这 类 新 兴 技 术 发 展 的 早期 阶段 ， 艺 术 家 扮演 的 角色 比 人 们 想象 的 更 重要 ， 艺 术 领 域 的 探索 不 仅 可 以 像 Levin 所 观 
察 到 的 那样 指导 普通 技术 的 发 展 ， 而 且 对 于 帮助 理解 社会 和 文化 的 进步 或 是 新 兴 技 术 的 影响 也 非常 有 价值 。 


我 相信 艺术 家 将 会 承担 起 奇迹 经 营 者 的 角色 。 他 们 是 神奇 的 织 布 工 ， 能 够 将 日 常生 活 中 的 各 个 部 分 织 就 非凡 的 现实 和 未 来 。 
作为 发 布 者 、 通 讯 者 和 翻译 者 ， 他 们 能 够 帮助 我 们 用 新 的 眼光 看 待 世界 。 艺 术 家 这 一 角色 擅长 观察 和 共 情 ， 能 够 将 自己 的 感受 和 
发 现 反 馈 到 世界 中 ， 为 我 们 呈现 另 一 种 去 人 存在、 去 感受 、 去 听 和 去 看 的 方式 。 对 我 来 说， 这 是 创新 的 定义 ， 也 是 在 增强 现实 领域 
中 展开 艺术 探索 的 另 一 个 理由 。 


我 希望 增强 现实 能 够 为 我 们 带 来 更 神奇 的 体验 ， 以 新 的 方式 扩展 我 们 的 想象 力 ， 激 发 世界 和 人 类 向 积极 的 方向 变化 。 为 了 达 
到 这 个 目的 ， 我 们 可 以 将 增强 现实 作为 强大 的 可 视 化 媒介 来 展开 设计 。 “看 到 ”那些 尚未 成 真 的 现实 可 以 激 起 我 们 对 新 可 能 的 渴 
望 、 欢 迎 和 庆祝 ， 反 过 来 使 我 们 的 意识 向 更 好 的 人 性 进化 ， 启 友人 类 进行 改变 ， 从 而 使 更 多 人 从 中 受益 。 让 我 们 把 它 作 为 我 们 共 
同 的 目标 和 承诺 一 一 为 了 最 好 的 技术 和 最 好 的 人 性 而 设计 。 
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